« ¿Y si se lo inventa? » — hacer que un agente cite sus fuentes

Es la primera pregunta de cada taller, y es la correcta. Un modelo de lenguaje produce una frase plausible; nada en su mecánica garantiza que sea cierta. Todo el arte consiste en hacer visible el error.

La regla única: citar

Cada afirmación de un agente remite al documento y a la versión de donde viene. No « según nuestros procedimientos » — la referencia exacta, con enlace, verificable en tres segundos.

La regla parece modesta. Lo cambia todo: convierte la revisión en un ejercicio de verificación en vez de un ejercicio de confianza. Quien debe creer revisa mal; quien puede comprobar revisa rápido.

Si una frase no tiene fuente, no pinta nada en la salida.

Cuatro montajes que funcionan

Responder desde los documentos, no desde la memoria

El agente busca primero en su base y luego redacta con lo encontrado. Si no encuentra nada, debe decirlo — y no completar con lo que « sabe ».

Permitir el « no lo sé »

Un agente al que no se le permite fallar, inventa. El circuito debe prever una salida « no está en la base » que suba a una persona, y esa salida debe ser frecuente al principio.

Separar extracción y redacción

Extraer una fecha de un documento es verificable. Redactar un párrafo no lo es. Cuando se mezclan, nadie sabe qué está revisando.

Registrar las entradas

El registro guarda lo que el agente leyó, no solo lo que produjo. Es lo que permite corregir la causa en vez de la salida.

Dos falsas soluciones

« Vamos a usar un modelo más potente. » Un mejor modelo reduce la frecuencia de los errores, no su naturaleza. Ante una pregunta cuya respuesta no está en sus documentos, el mejor modelo del mercado también inventará — solo que de forma más convincente.

« Lo revisaremos todo. » Nadie revisa trescientas salidas al día. A las dos semanas, la revisión se convierte en un vistazo. Mejor revisar el diez por ciento con método que el cien por cien por encima.

Cómo comprobamos que aguanta

Al abrir un sistema, construimos un conjunto de casos reales — de cuarenta a cien — cuya respuesta correcta se conoce. Medimos tres cosas: la proporción de respuestas exactas, la de « no lo sé » justificados, y la de errores silenciosos. Solo la tercera importa de verdad.

Ese conjunto no sirve solo para la puesta en marcha: se repite en cada cambio de modelo o de instrucción. Es lo que permite decir, con cifras, si una actualización ha mejorado o empeorado el sistema.

Otras notas

Todas las notas →