08 — Evaluar frente al modelo base

Recuperación idéntica para cada modelo, métricas que separan conocimiento y estilo, una comparación emparejada y el análisis de cada abstención falsa.

Christian Pojoni 3 min de lectura
Compartir

Idea central

La pregunta no es «¿es bueno el modelo RAFT?», sino «¿es mejor que el modelo base sin ajustar bajo exactamente las mismas condiciones, y de qué manera?».

Condiciones idénticas

Ejecuta todos los modelos sobre el mismo conjunto de evaluación con los mismos pasajes recuperados por pregunta. En el ejemplo, hit@10 (0,738) y recall@10 fueron idénticos para todos, así que cualquier diferencia procedía únicamente del modelo.

Métricas que separan conocimiento y estilo

MétricaCalculada porQué muestra
Respaldo factual (supported)modelo evaluador¿está respaldada la respuesta por los pasajes?
Cobertura de puntos clave (key-point coverage)modelo evaluador¿cuánto de la respuesta de referencia aparece?
Validez de las citas (citation validity)código¿existen las citas en sus pasajes?
Precisión de las citas (citation precision)modelo evaluador¿respaldan las citas sus frases?
Abstención correcta (correct abstention)códigose abstiene en preguntas sin respuesta
Abstención falsa (false abstention)códigose abstiene en preguntas contestables
Proporción literal (verbatim share)código¿cuánta redacción procede de la fuente?
Estilo (style)modelo evaluador¿suena como el autor de la fuente (1 a 5)?

Informa del respaldo factual tanto sobre las preguntas respondidas como sobre todas las contestables. Un modelo que se abstiene más parece mejor en la primera cifra y peor en la segunda.

Resultados de ejemplo

MétricaRAFT-9BBase-9BRAFT-4BBase-4B
Respaldo factual (todas las contestables)69 %69 %64 %64 %
Cobertura de puntos clave0,500,460,480,44
Precisión de las citas0,630,550,630,61
Abstención correcta0,920,850,850,85
Abstención falsa5,8 %2,9 %9,7 %2,9 %
Proporción literal0,570,350,600,20
Estilo (1 a 5)3,662,363,802,09

El respaldo factual no cambió. La voz y la abstención sí.

Comparación emparejada

Compara las preguntas que respondieron ambos modelos. En 9B fueron 97 preguntas: respaldo factual 71 frente a 70 y cobertura 0,53 frente a 0,48. Las cifras emparejadas eliminan el efecto de las distintas tasas de abstención.

Inspeccionar cada abstención falsa

Enumera cada abstención falsa junto a su acierto de recuperación. En el ejemplo, 5 de las 6 abstenciones falsas de RAFT-9B eran preguntas con hit@10 = 0. La respuesta no estaba en el contexto, por lo que abstenerse era lo honesto. Solo una fue una pérdida real. Sin esta comprobación, la regresión parece tres veces peor de lo que es.

Sesgo del modelo evaluador

Si el modelo evaluador es también el modelo maestro, prefiere respuestas que suenan como las suyas. Usa métricas calculadas por código donde sea posible (validez, proporción literal, abstención), lee personalmente 10 pares de respuestas y, si el resultado importa, utiliza un modelo evaluador de otra familia de modelos.

Regla de decisión

Decide antes de ejecutar la evaluación qué se considera peor. La regla del ejemplo era simple: parar y replantear si RAFT era peor que el modelo base en conjunto. No lo fue, así que el modelo se publicó documentando su trade-off de abstenciones falsas.

Errores habituales

  • Comparar modelos con ejecuciones de recuperación distintas.
  • Informar de una sola cifra de respaldo factual.
  • Confiar en un modelo evaluador que también es el modelo maestro.

¿Preguntas sobre los artículos?

Pregunta por un artículo, un proyecto o las ideas que hay detrás.