LLMs verticales: qué son, cuándo usarlos y cuándo no

GPT-4 puede redactar un poema, resolver una ecuación diferencial y explicar la historia del Imperio Romano. Esta capacidad general es también su mayor limitación en entornos empresariales regulados. Un modelo entrenado en todo el internet no tiene certeza sobre cuál es la tasa de comisión de tu producto de inversión, cuál es el protocolo de escalación de tu call center o cuál es la cláusula de rescisión de tu contrato de seguro.

Las alucinaciones — respuestas convincentes pero incorrectas — son aceptables en un asistente personal de productividad. En un agente de atención al cliente de una entidad financiera, cada alucinación es un riesgo legal, regulatorio y reputacional. El coste real no es el de la respuesta incorrecta — es el de sus consecuencias.

No existe un único camino para construir un LLM vertical. Las tres aproximaciones principales tienen perfiles de coste, complejidad y rendimiento muy distintos. La elección correcta depende del volumen de datos disponibles, los requisitos de latencia, el presupuesto de inferencia y el nivel de precisión exigido.

• RAG (Retrieval Augmented Generation): el modelo base consulta en tiempo real una base de conocimiento estructurada antes de responder. Ideal cuando el dominio cambia con frecuencia (catálogos, regulaciones, precios). Bajo coste de mantenimiento, pero dependiente de la calidad del retrieval.
• Fine-Tuning selectivo: se re-entrena el modelo base con datos del dominio específico (conversaciones históricas, documentación interna, protocolos). Mejora la terminología y el tono, pero requiere un corpus de calidad y un ciclo de evaluación riguroso.
• Arquitectura híbrida (RAG + Fine-Tuning + Guardrails): combina el conocimiento dinámico del RAG con el estilo y la precisión del fine-tuning, añadiendo una capa de verificación determinista que actúa como filtro final. Es la arquitectura que implementamos en Nexgen AI para casos de uso críticos.

Los guardrails son restricciones programáticas que se aplican sobre la salida del modelo antes de que llegue al cliente. Actúan como un filtro de última línea que detecta y bloquea respuestas fuera del dominio permitido, afirmaciones no verificables, información confidencial o contenido que no cumple los estándares regulatorios.

Un sistema de guardrails bien diseñado tiene múltiples capas: validación semántica del output, comprobación de coherencia con la base de conocimiento, verificación de cumplimiento normativo y detección de patrones de escalación. Cada capa añade milisegundos de latencia — el reto es diseñarlas para que sean exhaustivas sin superar los límites de respuesta aceptables.

No todo caso de uso justifica la inversión en especialización vertical. Hay escenarios donde un modelo genérico con un buen prompt de sistema y una base de conocimiento bien estructurada es suficiente — y más rentable.

• Cuando el volumen de interacciones es bajo (menos de 500 conversaciones al mes), el ROI del fine-tuning difícilmente justifica la inversión inicial.
• Cuando el dominio es suficientemente genérico y el riesgo de alucinación es bajo — soporte técnico de primer nivel, FAQs, orientación de navegación.
• Cuando la velocidad de cambio del dominio es muy alta — un catálogo que cambia a diario requiere RAG puro, no fine-tuning con ciclos de reentrenamiento.
• Cuando el presupuesto de inferencia es muy ajustado — los modelos fine-tuned son más eficientes, pero el coste de entrenamiento inicial puede no recuperarse en el horizonte temporal del proyecto.

Hemos desarrollado un framework de cuatro criterios para ayudar a nuestros clientes a tomar esta decisión con objetividad. No hay una respuesta universal — la respuesta correcta depende de la intersección de estos cuatro ejes.

En la práctica, más del 70% de las empresas en sectores regulados que trabajan con nosotros terminan optando por la arquitectura híbrida. No porque sea la más cool, sino porque es la única que satisface simultáneamente los requisitos de precisión, auditabilidad y latencia.