Todas las guías

Guía de fine-tuning con RAFT

Un camino práctico desde un pipeline RAG que funciona hasta un modelo local pequeño ajustado con RAFT: datos, filtrado, entrenamiento, servicio y una evaluación honesta.

Capítulos prácticos sobre C++, TypeScript y fine-tuning con RAFT.

  1. 01

    Modelo mental: qué enseña RAFT y qué no

    RAFT enseña a un modelo a usar el contexto recuperado. No le enseña hechos nuevos; entender la diferencia determina si merece la pena aplicarlo.

    3 min de lectura
  2. 02

    Antes de entrenar: recuperación, conjunto de evaluación y holdout

    Mide la recuperación, crea un conjunto de evaluación con holdout y registra los valores base del modelo sin ajustar antes de generar un solo ejemplo de entrenamiento.

    3 min de lectura
  3. 03

    Generar datos de entrenamiento con un teacher

    Destila respuestas de un teacher local más potente en el formato exacto de inferencia, con contextos oracle y solo de distractores, además de pistas que el estudiante nunca ve.

    3 min de lectura
  4. 04

    Filtrado y ficha de datos

    Aplica rejection sampling a las respuestas del teacher con comprobaciones explícitas, cuenta cada motivo de descarte y lee una ficha de datos antes de entrenar.

    3 min de lectura
  5. 05

    Las citas pertenecen al código

    Haz que el modelo cite ids de pasajes y fragmentos literales; después verifica las citas y genera marcas de tiempo y enlaces mediante código.

    2 min de lectura
  6. 06

    Entrenar un adaptador LoRA

    LoRA en BF16 con Unsloth y TRL, pérdida solo sobre la respuesta del assistant, comprobación de longitud de tokens antes de entrenar y checkpoints que sobreviven a una GPU compartida.

    3 min de lectura
  7. 07

    Exportación y serving

    Fusiona el adaptador, cuantiza a GGUF, registra en Ollama el modelo y un modelo base empaquetado igual, y sirve la pipeline completa tras un endpoint compatible con OpenAI.

    2 min de lectura
  8. 08

    Evaluar frente al modelo base

    Recuperación idéntica para cada modelo, métricas que separan conocimiento y estilo, una comparación emparejada y el análisis de cada abstención falsa.

    3 min de lectura
  9. 09

    Alquilar una GPU para el modelo grande

    Qué subir, cómo estimar el coste y las trampas operativas del entrenamiento desatendido en la nube: mirrors lentos, watchers silenciosos y volúmenes atados a un host.

    3 min de lectura
  10. 10

    Lista de comprobación

    Una lista de una página para una ejecución de RAFT, desde la línea base de recuperación hasta el modelo publicado.

    2 min de lectura
  11. 11

    Fundamentación y referencias

    El paper de RAFT, las bibliotecas usadas en la ejecución de ejemplo y cómo se obtuvieron las cifras de esta guía.

    2 min de lectura
Sobre esta guía

Una guía compacta para quien ya tiene un pipeline de recuperación y quiere un modelo local pequeño que responda a partir de pasajes recuperados mejor que un modelo base con un buen prompt.

RAFT (Retrieval-Augmented Fine-Tuning) entrena un modelo con preguntas acompañadas de pasajes recuperados, algunos relevantes y otros solo distractores, para que aprenda a responder desde el pasaje correcto, ignorar el resto y decirlo cuando nada encaja. El entrenamiento en sí es una ejecución LoRA normal. El trabajo está en los datos, las comprobaciones y la evaluación, y a eso dedica esta guía sus páginas.

El ejemplo que recorre toda la guía es un proyecto real: unos 870 vídeos transcritos de un único creador, un servicio de recuperación local y modelos Qwen3.5 de 4B y 9B ajustados para responder en primera persona con la voz del creador y una cita verificada para cada frase. El modelo de 4B se entrenó en una GPU de consumo de 16 GB y el de 9B en una tarjeta alquilada de 48 GB. Lo que falló en esa ejecución está en el artículo complementario Mi primer fine-tuning con RAFT en una GPU compartida de 16 GB.

Cómo usar esta guía

Lee las páginas en orden. Cada una responde a cuatro preguntas:

  1. ¿Qué problema resuelve este paso?
  2. ¿Cuál es la opción por defecto?
  3. ¿Qué se rompe sin avisar si te lo saltas?
  4. ¿Cómo compruebas que ha funcionado?

Lo que de verdad es nuevo

Si ya has construido sistemas RAG, casi todo te resultará familiar. Solo unas pocas ideas son propias de RAFT:

  • El modelo aprende de contextos con distractores y de contextos en los que la respuesta falta por completo.
  • Los ejemplos de entrenamiento deben usar exactamente el formato de prompt de la inferencia, construido con el mismo recuperador.
  • Un modelo maestro más fuerte puede ver al generar pistas que el alumno nunca ve.
  • La mejora está sobre todo en cómo el modelo usa el contexto y en cómo suena, no en lo que sabe.

Camino recomendado

Fase 1: Fundamentos

  1. Modelo mental: qué enseña RAFT y qué no
  2. Antes de entrenar: recuperación, conjunto de evaluación y holdout

Fase 2: Datos

  1. Generar datos de entrenamiento con un teacher
  2. Filtrado y ficha de datos
  3. Las citas pertenecen al código

Fase 3: Modelo

  1. Entrenar un adaptador LoRA
  2. Exportación y serving

Fase 4: Prueba

  1. Evaluar frente al modelo base
  2. Alquilar una GPU para el modelo grande
  3. Lista de comprobación
  4. Fundamentación y referencias

El plan práctico más rápido

Una semana concentrada basta para una primera ejecución si tu recuperación ya funciona.

  • Día 1: conjunto de evaluación, conjunto reservado y cifras de partida del modelo sin ajustar.
  • Días 2 y 3: generación de datos con filtros, luego leer la hoja de datos y afinar los filtros.
  • Día 4: entrenar un modelo pequeño y exportarlo.
  • Día 5: evaluar frente al modelo base con recuperación idéntica y anotar qué ha cambiado.

Stack por defecto

Si no sabes por dónde empezar, apunta a esta combinación:

Qwen3.5 4B + LoRA en BF16 con Unsloth + TRL SFTTrainer con pérdida solo en la respuesta + GGUF Q4_K_M + Ollama, con un modelo maestro local para generar los datos.

Cabe en una GPU de 16 GB, entrena en pocas horas y mantiene cada transcripción en tu máquina.

Fundamentos

Esta es una guía práctica a partir de una ejecución completa, no una revisión de la literatura. Las cifras salen de esa ejecución y serán distintas con tus datos. El paper, la documentación de las bibliotecas y las notas de versión están en Fundamentación y referencias.

¿Preguntas sobre los artículos?

Pregunta por un artículo, un proyecto o las ideas que hay detrás.