08 — Gegen das Basismodell evaluieren

Identisches Retrieval für jedes Modell, Kennzahlen, die Wissen von Stil trennen, ein gepaarter Vergleich und die Untersuchung jeder falschen Enthaltung.

Christian Pojoni 3 Min. Lesezeit
Teilen

Kerngedanke

Die Frage lautet nicht „Ist das RAFT-Modell gut?“, sondern „Ist es unter exakt denselben Bedingungen besser als das unveränderte Basismodell, und auf welche Weise?“

Identische Bedingungen

Führe jedes Modell auf demselben Eval-Set mit denselben abgerufenen Passagen pro Frage aus. Im Beispiel waren hit@10 (0,738) und recall@10 für alle Modelle identisch, sodass jeder Unterschied allein vom Modell stammte.

Kennzahlen, die Wissen von Stil trennen

KennzahlBerechnet durchWas sie zeigt
Faktische Stützung (supported)Bewertungsmodellwird die Antwort durch die Passagen gestützt?
Abdeckung der Kernaussagen (key-point coverage)Bewertungsmodellwie viel der Referenzantwort ist enthalten?
Gültigkeit der Zitate (citation validity)Codekommen die Zitate in ihren Passagen vor?
Präzision der Zitate (citation precision)Bewertungsmodellstützen die Zitate die zugehörigen Sätze?
Korrekte Enthaltung (correct abstention)Codeenthält sich bei unbeantwortbaren Fragen
Falsche Enthaltung (false abstention)Codeenthält sich bei beantwortbaren Fragen
Wörtlicher Anteil (verbatim share)Codewie viel der Formulierung stammt aus der Quelle?
Stil (style)Bewertungsmodellklingt nach dem Autor der Quelle (1 bis 5)?

Berichte die faktische Stützung sowohl für beantwortete Fragen als auch für alle beantwortbaren Fragen. Ein Modell, das sich häufiger enthält, sieht bei der ersten Kennzahl besser und bei der zweiten schlechter aus.

Beispielergebnisse

KennzahlRAFT-9BBase-9BRAFT-4BBase-4B
Faktische Stützung (alle beantwortbaren)69 %69 %64 %64 %
Abdeckung der Kernaussagen0,500,460,480,44
Präzision der Zitate0,630,550,630,61
Korrekte Enthaltung0,920,850,850,85
Falsche Enthaltung5,8 %2,9 %9,7 %2,9 %
Wörtlicher Anteil0,570,350,600,20
Stil (1 bis 5)3,662,363,802,09

Die faktische Stützung änderte sich nicht. Ausdrucksweise und Enthaltung schon.

Gepaarter Vergleich

Vergleiche nur die Fragen, die beide Modelle beantwortet haben. Bei 9B waren das 97 Fragen: faktische Stützung 71 gegenüber 70 und Abdeckung 0,53 gegenüber 0,48. Gepaarte Werte entfernen den Effekt unterschiedlicher Enthaltungsraten.

Jede falsche Enthaltung untersuchen

Liste jede falsche Enthaltung mit ihrem Retrieval-Treffer auf. Im Beispiel waren 5 der 6 falschen Enthaltungen von RAFT-9B Fragen mit hit@10 = 0. Die Antwort befand sich nicht im Kontext; Enthaltung war daher die ehrliche Reaktion. Nur eine war ein echter Verlust. Ohne diese Prüfung wirkt die Regression dreimal schlimmer, als sie ist.

Verzerrung durch das Bewertungsmodell

Wenn das Bewertungsmodell zugleich das Lehrmodell ist, bevorzugt es Antworten, die wie seine eigenen klingen. Nutze nach Möglichkeit codeberechnete Kennzahlen (Gültigkeit, wörtlicher Anteil, Enthaltung), lies selbst 10 Antwortpaare und verwende bei wichtigen Ergebnissen ein Bewertungsmodell aus einer anderen Modellfamilie.

Entscheidungsregel

Lege vor der Evaluation fest, was als schlechter gilt. Die Regel im Beispiel war einfach: Stoppen und neu bewerten, wenn RAFT insgesamt schlechter als das Basismodell ist. Das war nicht der Fall; daher wurde das Modell ausgeliefert und der Trade-off bei falschen Enthaltungen dokumentiert.

Häufige Fehler

  • Modelle mit verschiedenen Retrieval-Läufen vergleichen.
  • Nur einen Wert zur faktischen Stützung berichten.
  • Einem Bewertungsmodell vertrauen, das zugleich das Lehrmodell ist.

Fragen zu den Artikeln?

Frag nach einem Artikel, einem Projekt oder den Ideen dahinter.