Todas las guías
Guía de fine-tuning con RAFT
Un camino práctico desde un pipeline RAG que funciona hasta un modelo local pequeño ajustado con RAFT: datos, filtrado, entrenamiento, servicio y una evaluación honesta.
Capítulos prácticos sobre C++, TypeScript y fine-tuning con RAFT.
- 013 min de lectura
Modelo mental: qué enseña RAFT y qué no
RAFT enseña a un modelo a usar el contexto recuperado. No le enseña hechos nuevos; entender la diferencia determina si merece la pena aplicarlo.
- 023 min de lectura
Antes de entrenar: recuperación, conjunto de evaluación y holdout
Mide la recuperación, crea un conjunto de evaluación con holdout y registra los valores base del modelo sin ajustar antes de generar un solo ejemplo de entrenamiento.
- 033 min de lectura
Generar datos de entrenamiento con un teacher
Destila respuestas de un teacher local más potente en el formato exacto de inferencia, con contextos oracle y solo de distractores, además de pistas que el estudiante nunca ve.
- 043 min de lectura
Filtrado y ficha de datos
Aplica rejection sampling a las respuestas del teacher con comprobaciones explícitas, cuenta cada motivo de descarte y lee una ficha de datos antes de entrenar.
- 052 min de lectura
Las citas pertenecen al código
Haz que el modelo cite ids de pasajes y fragmentos literales; después verifica las citas y genera marcas de tiempo y enlaces mediante código.
- 063 min de lectura
Entrenar un adaptador LoRA
LoRA en BF16 con Unsloth y TRL, pérdida solo sobre la respuesta del assistant, comprobación de longitud de tokens antes de entrenar y checkpoints que sobreviven a una GPU compartida.
- 072 min de lectura
Exportación y serving
Fusiona el adaptador, cuantiza a GGUF, registra en Ollama el modelo y un modelo base empaquetado igual, y sirve la pipeline completa tras un endpoint compatible con OpenAI.
- 083 min de lectura
Evaluar frente al modelo base
Recuperación idéntica para cada modelo, métricas que separan conocimiento y estilo, una comparación emparejada y el análisis de cada abstención falsa.
- 093 min de lectura
Alquilar una GPU para el modelo grande
Qué subir, cómo estimar el coste y las trampas operativas del entrenamiento desatendido en la nube: mirrors lentos, watchers silenciosos y volúmenes atados a un host.
- 102 min de lectura
Lista de comprobación
Una lista de una página para una ejecución de RAFT, desde la línea base de recuperación hasta el modelo publicado.
- 112 min de lectura
Fundamentación y referencias
El paper de RAFT, las bibliotecas usadas en la ejecución de ejemplo y cómo se obtuvieron las cifras de esta guía.
Sobre esta guía
Una guía compacta para quien ya tiene un pipeline de recuperación y quiere un modelo local pequeño que responda a partir de pasajes recuperados mejor que un modelo base con un buen prompt.
RAFT (Retrieval-Augmented Fine-Tuning) entrena un modelo con preguntas acompañadas de pasajes recuperados, algunos relevantes y otros solo distractores, para que aprenda a responder desde el pasaje correcto, ignorar el resto y decirlo cuando nada encaja. El entrenamiento en sí es una ejecución LoRA normal. El trabajo está en los datos, las comprobaciones y la evaluación, y a eso dedica esta guía sus páginas.
El ejemplo que recorre toda la guía es un proyecto real: unos 870 vídeos transcritos de un único creador, un servicio de recuperación local y modelos Qwen3.5 de 4B y 9B ajustados para responder en primera persona con la voz del creador y una cita verificada para cada frase. El modelo de 4B se entrenó en una GPU de consumo de 16 GB y el de 9B en una tarjeta alquilada de 48 GB. Lo que falló en esa ejecución está en el artículo complementario Mi primer fine-tuning con RAFT en una GPU compartida de 16 GB.
Cómo usar esta guía
Lee las páginas en orden. Cada una responde a cuatro preguntas:
- ¿Qué problema resuelve este paso?
- ¿Cuál es la opción por defecto?
- ¿Qué se rompe sin avisar si te lo saltas?
- ¿Cómo compruebas que ha funcionado?
Lo que de verdad es nuevo
Si ya has construido sistemas RAG, casi todo te resultará familiar. Solo unas pocas ideas son propias de RAFT:
- El modelo aprende de contextos con distractores y de contextos en los que la respuesta falta por completo.
- Los ejemplos de entrenamiento deben usar exactamente el formato de prompt de la inferencia, construido con el mismo recuperador.
- Un modelo maestro más fuerte puede ver al generar pistas que el alumno nunca ve.
- La mejora está sobre todo en cómo el modelo usa el contexto y en cómo suena, no en lo que sabe.
Camino recomendado
Fase 1: Fundamentos
- Modelo mental: qué enseña RAFT y qué no
- Antes de entrenar: recuperación, conjunto de evaluación y holdout
Fase 2: Datos
- Generar datos de entrenamiento con un teacher
- Filtrado y ficha de datos
- Las citas pertenecen al código
Fase 3: Modelo
Fase 4: Prueba
- Evaluar frente al modelo base
- Alquilar una GPU para el modelo grande
- Lista de comprobación
- Fundamentación y referencias
El plan práctico más rápido
Una semana concentrada basta para una primera ejecución si tu recuperación ya funciona.
- Día 1: conjunto de evaluación, conjunto reservado y cifras de partida del modelo sin ajustar.
- Días 2 y 3: generación de datos con filtros, luego leer la hoja de datos y afinar los filtros.
- Día 4: entrenar un modelo pequeño y exportarlo.
- Día 5: evaluar frente al modelo base con recuperación idéntica y anotar qué ha cambiado.
Stack por defecto
Si no sabes por dónde empezar, apunta a esta combinación:
Qwen3.5 4B + LoRA en BF16 con Unsloth + TRL SFTTrainer con pérdida solo en la respuesta + GGUF Q4_K_M + Ollama, con un modelo maestro local para generar los datos.
Cabe en una GPU de 16 GB, entrena en pocas horas y mantiene cada transcripción en tu máquina.
Fundamentos
Esta es una guía práctica a partir de una ejecución completa, no una revisión de la literatura. Las cifras salen de esa ejecución y serán distintas con tus datos. El paper, la documentación de las bibliotecas y las notas de versión están en Fundamentación y referencias.