Un agent qui lit vos mails lit aussi ce qu’on lui écrit

C’est la faiblesse structurelle des agents, et elle n’a pas de correctif : un modèle ne distingue pas vos consignes du texte qu’il lit. La réponse n’est pas technique, elle est architecturale.

Pourquoi c’est structurel

Un modèle de langue reçoit un seul flux de texte : vos consignes et le document à traiter arrivent mélangés. Rien, dans sa mécanique, ne marque la frontière entre les deux. Un contenu extérieur qui ressemble à une consigne sera traité comme telle s’il est assez bien placé.

Ce n’est pas un défaut à corriger dans la prochaine version : c’est la conséquence directe de ce qui fait la puissance de ces modèles. On ne le supprime pas ; on l’enferme.

Quatre règles de conception

Séparer lecture et action

L’agent qui lit du contenu extérieur n’a pas le droit d’agir. Il produit un résultat structuré — un résumé, des champs extraits — et c’est le circuit, pas le modèle, qui décide quoi en faire.

Donner le moins de droits possible

Un agent qui répond à des demandes de suivi n’a besoin que de lire un statut. Pas d’écrire, pas de supprimer, pas d’envoyer. La plupart des incidents graves viennent de droits accordés « pour plus tard ».

Mettre une personne avant tout ce qui sort

Envoi d’e-mail, publication, virement, modification de données : ces gestes ne se déclenchent pas sur la seule foi d’un contenu lu. C’est la même règle que la relecture humaine, appliquée à la sécurité.

Journaliser ce qui est entré

Le journal doit garder le contenu lu, pas seulement la sortie produite. Sans lui, un comportement bizarre reste inexpliqué ; avec lui, on retrouve la cause en dix minutes.

Le cas qui revient le plus

Une boîte mail partagée surveillée par un agent qui trie et prépare des réponses. C’est le montage le plus courant, et le plus exposé : n’importe qui peut écrire à cette adresse.

Le montage qui tient : l’agent lit, classe, prépare un brouillon — et n’a aucun droit d’envoi. Les pièces jointes sont traitées comme du texte, jamais exécutées. Et tout ce qui demande une action sur un compte, un paiement ou un accès sort du circuit automatique, sans exception.

Un agent sans droit d’envoi ne peut pas être manipulé pour envoyer.

Garder la proportion

Ce sujet mérite d’être traité, pas d’être craint. La grande majorité des systèmes que nous ouvrons ne lisent que des contenus internes, avec des droits en lecture seule et une personne avant chaque sortie : leur surface d’exposition est minuscule.

La question se pose sérieusement dans trois cas : un agent exposé à des contenus publics, un agent qui agit sans relecture, ou un agent qui a des droits d’écriture sur un système critique. Si vous êtes dans l’un des trois, c’est là qu’il faut passer du temps — et pas ailleurs.

D’autres notes

Tous les billets →