RAG o fine-tuning: dos técnicas, dos problemas distintos

La pregunta equivocada

Cuando un CEO latinoamericano le pregunta a su equipo técnico "¿usamos RAG o fine-tuning?", suele recibir una de dos respuestas: un argumento apasionado a favor de una opción, o un encogimiento de hombros acompañado de "depende". Ninguna es útil.

La verdad es que la pregunta está mal formulada desde el principio. RAG y fine-tuning no compiten por el mismo problema. Resolverlos así es como preguntarle a un arquitecto "¿prefiere ladrillos o cemento?". Ambos construyen, pero ninguno reemplaza al otro.

Qué hace realmente cada técnica

RAG (Retrieval-Augmented Generation) es, en esencia, darle al modelo de lenguaje acceso a información externa en el momento de responder. El modelo no "aprende" nada permanentemente: cada vez que un usuario hace una pregunta, el sistema busca los documentos relevantes, los inyecta en el contexto y el modelo los usa para responder.

Imagínelo así: es como darle a un consultor muy capaz una carpeta con los documentos pertinentes justo antes de la reunión. No cambió quién es él ni cómo piensa. Pero ahora tiene los datos que necesita para hablar sobre su empresa.

Fine-tuning es diferente. Aquí sí se modifica el modelo. Se toma un modelo base y se vuelve a entrenar —total o parcialmente— con datos propios, para que aprenda un estilo, un vocabulario, un tono, o un tipo de razonamiento específico. El conocimiento queda "dentro" del modelo.

La misma analogía: es como enviar a ese consultor a estudiar seis meses en su industria. Cuando regresa, ya piensa diferente. Ya no necesita la carpeta; el contexto es parte de él.

Los problemas que cada uno resuelve

Esta distinción no es semántica. Define completamente qué herramienta usar y cuándo.

Use RAG cuando:

• Su empresa tiene documentos, políticas, catálogos o bases de conocimiento que cambian con frecuencia. Un modelo fine-tuned sobre precios de hace tres meses es un error esperando a ocurrir.
• Necesita trazabilidad. RAG permite señalar exactamente qué fragmento de qué documento generó una respuesta. En sectores como finanzas, salud o legal —comunes en el LATAM regulado— esto no es opcional.
• Quiere incorporar información confidencial sin subir datos sensibles a un proceso de entrenamiento externo.
• Su caso de uso es un buscador interno, un asistente de onboarding, un copiloto de ventas que consulta el CRM, o un sistema de respuesta sobre productos.

Use fine-tuning cuando:

• Necesita que el modelo adopte un tono, un formato de respuesta, o un estilo de razonamiento muy específico que no se puede corregir fácilmente con instrucciones en el prompt.
• Tiene tareas altamente repetitivas y estructuradas donde la latencia y el costo por llamada importan: clasificación de documentos, extracción de datos en volumen, etiquetado masivo.
• El dominio es tan técnico y especializado que el modelo base produce errores consistentes que ningún prompt corrige.
• Cuenta con datos propios de calidad suficiente —cientos de ejemplos mínimo, idealmente miles— para justificar el costo de entrenamiento.

El error más frecuente en medianas empresas

En la práctica, el error más común que cometen las empresas medianas latinoamericanas es el opuesto a lo que esperarían: no es excederse en fine-tuning, sino subestimar cuánto puede lograr un RAG bien implementado.

Muchos equipos técnicos proponen fine-tuning cuando en realidad el problema es que el modelo no tiene acceso a la información correcta. El resultado: un proceso costoso, difícil de mantener, y que necesita re-entrenarse cada vez que cambia un precio, un procedimiento o una regulación.

Por el contrario, un sistema RAG bien diseñado —con documentos bien indexados, un chunking adecuado y una capa de recuperación que entienda la intención de la pregunta— puede resolver el 80 % de los casos de uso empresariales sin tocar los pesos del modelo.

Cuándo usar los dos juntos

Aquí está lo que muchos artículos omiten: RAG y fine-tuning no son mutuamente excluyentes.

Hay arquitecturas donde se combinan de manera deliberada. Por ejemplo:

• Un modelo base con fine-tuning ligero para adoptar el tono y el formato de respuesta de la empresa, combinado con RAG para traer datos actualizados en tiempo real.
• Un clasificador fino (fine-tuned) que decide qué fragmentos recuperar para la siguiente etapa del pipeline RAG.
• Un modelo de embeddings fine-tuned sobre el vocabulario técnico de la industria, que mejora la calidad de la búsqueda semántica dentro del mismo sistema RAG.

La clave es tratar estas técnicas como capas de una arquitectura, no como competidores en un torneo.

Las preguntas correctas para su empresa

En lugar de "¿RAG o fine-tuning?", las preguntas útiles son:

1. ¿Cuál es el problema real? ¿El modelo no sabe qué decir (falta de información) o no sabe cómo decirlo (estilo, estructura, razonamiento)?
2. ¿Con qué frecuencia cambia la información? Datos volátiles → RAG. Comportamientos estables → fine-tuning.
3. ¿Qué tan sensibles son los datos? Información muy confidencial puede ser difícil de incluir en un proceso de fine-tuning externo; RAG sobre bases de datos locales la mantiene bajo control.
4. ¿Cuál es el presupuesto de mantenimiento? Fine-tuning tiene costo de re-entrenamiento periódico. RAG tiene costo de infraestructura de recuperación. Ambos tienen costos, pero de naturaleza diferente.
5. ¿Necesita auditar las respuestas? Si la respuesta es sí, RAG facilita la trazabilidad de forma nativa.

Lo que esto implica para quienes toman decisiones

Si usted es director general, director comercial u operations lead en una empresa mediana, no necesita entender los detalles técnicos de backpropagation ni de embeddings. Lo que sí necesita es poder hacer las preguntas correctas cuando su equipo le proponga una solución.

Cuando lleguen con una propuesta de fine-tuning, pregunte: ¿ya probamos RAG? ¿Con cuántos datos entrenamos y de qué calidad? ¿Cuánto cuesta mantenerlo cuando la información cambie?

Cuando lleguen con RAG, pregunte: ¿cómo garantizamos que el modelo recupere el fragmento correcto y no uno plausible pero desactualizado? ¿Cómo manejamos documentos contradictorios entre sí?

Ninguna técnica es superior por defecto. La superioridad depende del problema que está resolviendo —y de la honestidad con la que su equipo lo diagnostique.

---

Si está evaluando qué arquitectura tiene más sentido para su operación —ya sea un asistente interno, un copiloto de ventas o un sistema de análisis documental—, en Xenturia acompañamos ese diseño con empresas medianas en LATAM. El primer paso siempre es entender el problema, no recomendar la herramienta.