« E se si inventa? » — far citare le fonti a un agente

È la prima domanda di ogni workshop, ed è giusta. Un modello linguistico produce una frase plausibile; nulla nella sua meccanica garantisce che sia vera. Tutta l’arte sta nel rendere l’errore visibile.

La regola unica: citare

Ogni affermazione prodotta da un agente rimanda al documento e alla versione da cui proviene. Non « secondo le nostre procedure » — il riferimento esatto, cliccabile, verificabile in tre secondi.

La regola sembra modesta. Cambia tutto: trasforma la rilettura da esercizio di fiducia a esercizio di verifica. Chi deve credere rilegge male; chi può verificare rilegge in fretta.

Se una frase non ha fonte, non ha nulla da fare nel risultato.

Quattro montaggi che funzionano

Rispondere dai documenti, non dalla memoria

L’agente cerca prima nella vostra base, poi redige da ciò che ha trovato. Se non trova nulla, deve dirlo — e non completare con ciò che « sa ».

Permettere il « non lo so »

Un agente a cui non si permette di fallire, inventa. Il circuito deve prevedere un’uscita « non presente nella base » che sale a una persona, e quell’uscita deve essere frequente all’inizio.

Separare estrazione e redazione

Estrarre una data da un documento è verificabile. Redigere un paragrafo non lo è. Quando i due si mescolano, non si sa più cosa si sta rileggendo.

Registrare gli ingressi

Il registro conserva ciò che l’agente ha letto, non solo ciò che ha prodotto. È questo che permette di correggere la causa invece del risultato.

Due false soluzioni

« Prendiamo un modello più potente. » Un modello migliore riduce la frequenza degli errori, non la loro natura. Su una domanda la cui risposta non è nei vostri documenti, anche il miglior modello sul mercato inventerà — solo in modo più convincente.

« Rileggiamo tutto. » Nessuno rilegge trecento risultati al giorno. Dopo due settimane la rilettura diventa un’occhiata. Meglio rileggere il dieci per cento con metodo che il cento per cento di sfuggita.

Come verifichiamo che tenga

All’apertura di un sistema costruiamo un insieme di casi reali — da quaranta a cento — di cui si conosce la risposta corretta. Misuriamo tre cose: la quota di risposte esatte, quella dei « non lo so » giustificati, e quella degli errori silenziosi. Solo la terza conta davvero.

Quell’insieme non serve solo all’avvio: lo rigiochiamo a ogni cambio di modello o di prompt. È ciò che permette di dire, numeri alla mano, se un aggiornamento ha migliorato o peggiorato il sistema.

Altre note

Tutte le note →