Mesurer le retour d’un agent sans se mentir
La question « est-ce que ça a marché ? » se tranche si — et seulement si — on a relevé quatre chiffres avant. Sinon on compare une impression à un souvenir, et tout le monde a raison.
Les quatre chiffres d’avant
Ils se relèvent sur un mois entier, jamais sur une semaine choisie :
- Le volume : combien de fois le geste est fait, par semaine.
- La durée : combien de temps il prend, chronométré cinq à dix fois.
- Le délai : le temps écoulé entre l’arrivée de la demande et la réponse.
- Le taux d’échec : la part de cas non traités, traités en retard, ou repris.
Le quatrième est le plus souvent oublié, et le plus parlant : c’est lui qui chiffre les affaires perdues, pas les heures gagnées.
Ce qu’on mesure à trente jours
Les mêmes quatre, plus trois qui n’existaient pas avant :
- Le taux de correction : la part des sorties modifiées avant envoi. Il doit baisser, puis se stabiliser — jamais atteindre zéro.
- Le taux d’escalade : la part des cas remontés à une personne. Un taux trop bas est suspect, pas rassurant.
- Le coût d’exploitation : jetons, hébergement, licences, ramenés au traitement.
Trente jours est le bon horizon : assez long pour dépasser l’effet de nouveauté, assez court pour corriger avant d’avoir tout industrialisé.
Trois biais qui font conclure trop vite
Le mois de lancement. Les équipes sont attentives, les cas faciles passent en premier, tout le monde regarde. Le deuxième mois est la vraie mesure.
Le geste déplacé. Le temps ne disparaît pas toujours : il migre vers la relecture, ou vers la personne qui corrige le circuit. Il faut le compter là où il est allé.
Le succès attribué. Une hausse de chiffre d’affaires ce trimestre-là n’est pas forcément due à l’agent. Ce qu’on peut affirmer honnêtement, c’est le délai et le volume traité. Le reste se discute.
Un système qu’on n’a pas mesuré n’est pas un succès : c’est une habitude.
Savoir arrêter
Environ un système ouvert sur six ne tient pas ses promesses. Les causes sont presque toujours les mêmes : un volume trop faible pour amortir, une matière documentaire trop pauvre, ou un geste qui demandait plus d’arbitrage qu’on ne l’avait vu.
Dans ce cas, on l’écrit, on l’éteint, et on regarde le système suivant de la liste. C’est aussi pour ça qu’on n’en ouvre qu’un à la fois : se tromper sur un système coûte quelques semaines ; se tromper sur cinq en parallèle coûte un an et la confiance des équipes.
- La méthode en quatre étapes — relever, chiffrer, ouvrir, mesurer
- Agence IA à Paris — le reporting du lundi, mesuré avant et après
- Le relevé des dix systèmes — les chiffres d’avant, c’est lui
D’autres notes
Trois heures par jour : d’où vient le chiffre
La méthode de mesure derrière le chiffre affiché sur notre page d’accueil, pourquoi il change d’une entreprise à l’autre, et ce qu’il ne dit pas.
Systèmes · 4 septembre 2026Agent IA ou simple automatisation : la question à 20 000 €
Un tiers des cas d’usage qu’on nous demande ne réclament aucun modèle. Comment distinguer ce qui relève d’un workflow, ce qui réclame un agent, et pourquoi se tromper coûte cher dans les deux sens.
Méthode · 26 juin 2026« On a un ChatGPT interne, mais personne ne l’utilise »
La phrase qu’on entend le plus souvent en premier rendez-vous. Pourquoi un accès à un modèle n’est pas un produit, et les quatre gestes qui font démarrer l’usage.