#Agentic101 – IA agentique en production : réussir l’évaluation et la supervision
David Guede a construit l’agent Sharlie : un agent vocal qui fait office de service client pru Sosh. Tout l’été il vous partage son expertise pour une session de rattrapage sur les bases de l’agentification.
Les sessions précédentes
La démo était parfaite. Devant le comité, Léa a tapé « je veux le reporting de novembre », et la chaîne s’est déroulée sans accroc jusqu’au support final. Applaudissements. Trois semaines plus tard, en usage réel, le routeur a compris « reporting » là où il fallait entendre « prévision », a lancé le mauvais process, et a produit un document à côté de la plaque. Une fois. Devant un collègue. Qui n’a plus jamais réessayé.
Entre ces deux moments tient tout ce volet. Une démo prouve qu’un process peut marcher. La production exige qu’il marche la cinq centième fois, sans public, sur le cas le plus tordu, pour des utilisateurs qui décrochent à la première erreur visible. Ce trajet porte un nom : le dernier kilomètre. C’est là que meurent la plupart des projets d’IA.
Le dernier kilomètre de l’IA agentique : là où meurent les projets
Pourquoi ce kilomètre est-il si rude ? Parce que tout y change de nature. En démo, on choisit le cas, on est présent pour rattraper, on pardonne un raté. En production, le cas s’impose à vous (souvent bancal), personne n’est là pour corriger, et l’utilisateur, lui, ne pardonne rien. Un process qui réussit quatre-vingt-quinze fois sur cent paraît excellent sur le papier. Dans la réalité, ce sont les cinq échecs, visibles, qui font la réputation.
Franchir ce kilomètre n’est pas une question de modèle plus puissant. C’est une question de méthode.
Pourquoi un process agentifié est plus fragile qu’un agent isolé
Rappelez-vous : un process agentifié n’est pas un agent, c’est une chaîne. Cette structure fait sa force, et sa fragilité. Car les erreurs s’y propagent. Une donnée mal collectée à la première étape ressort en chiffre faux à la sixième ; un agent qui se trompe transmet son erreur, amplifiée, au suivant. La fiabilité de l’ensemble n’est pas la moyenne de celle des maillons : elle en est, à peu près, le produit. Cinq étapes fiables à 95 % donnent un process fiable à… 77 %.
À cela s’ajoute le routeur, dont on a vu qu’un seul mauvais aiguillage suffit à briser la confiance. Vous n’avez donc pas un point à sécuriser, mais autant qu’il y a de maillons, plus la porte d’entrée. D’où l’exigence : chaque étape doit être bonne, et il faut pouvoir le prouver.
Évaluer son IA agentique : garantir la fiabilité avant la production
On ne met pas un process en production « au feeling ». On le met à l’épreuve.
Concrètement, on constitue des jeux d’évaluation : des dizaines, des centaines de cas représentatifs (les courants, les limites, et surtout les cas réels et mal formés). Sur chacun, on mesure : le routeur a-t-il compris la bonne intention ? chaque étape a-t-elle produit le bon résultat ? la chaîne a-t-elle livré, de bout en bout, ce qu’on attendait ?
Reste une difficulté : beaucoup de sorties sont qualitatives (un commentaire, un insight, une reformulation). On ne les note pas avec une simple égalité. On emploie alors un LLM-as-judge : un modèle chargé d’évaluer les réponses au regard de critères explicites, de façon répétable et à grande échelle. C’est ce qui permet de tester, sérieusement, ce qu’on croyait impossible à évaluer.
Ces évals jouent deux rôles. Avant la mise en production, elles forment un sas : pas de passage en prod sans score suffisant. Après, elles tournent en continu pour détecter toute régression. C’est là, et nulle part ailleurs, que se gagne la justesse d’intention promise au volet précédent.
Superviser les process en continu pour maintenir la confiance
Un process en production n’est jamais figé : les usages dérivent, les données changent, un fournisseur de modèle évolue. D’où la deuxième discipline : la supervision.
On instrumente tout : quelles intentions arrivent, vers quels process elles sont routées, ce qui tombe en hors-scope, où les étapes échouent, à quel coût, en combien de temps. Cette observation rend trois services. Elle détecte les dérives avant l’utilisateur. Elle alimente le backlog d’agentification (le hors-scope vu au volet 2 devient une donnée exploitable). Et elle rend le process traçable : on sait, après coup, exactement ce qui s’est passé. Cette traçabilité n’est pas qu’un confort d’exploitation ; c’est aussi une exigence de gouvernance, sur laquelle nous reviendrons.
Adopter l’IA agentique : la confiance par la rigueur et la supervision
Tout ce volet tient dans une chaîne de causes simple : pas d’adoption sans confiance, pas de confiance sans fiabilité, pas de fiabilité sans évals ni supervision. La rigueur d’industrialisation n’est pas l’ennemie de la productivité : elle en est la condition.
Deux principes la complètent. D’abord, la fiabilité n’est pas que l’exactitude : c’est aussi l’humilité calibrée. Un bon dispositif est conçu et évalué pour avouer plutôt que deviner ; on pénalise davantage une erreur affirmée qu’un « je ne sais pas » honnête. Ensuite, l’humain reste aux commandes là où l’enjeu l’exige : les points de validation ne sont pas une faiblesse du dispositif, ils en sont une pièce de sûreté. Tout l’art est de savoir où les placer.
C’est précisément ce travail, invisible et peu spectaculaire, qui sépare une démo d’un process de confiance. Les plateformes vous donnent les briques pour évaluer et superviser ; franchir vraiment ce dernier kilomètre reste votre métier.
Ce qu’il faut retenir pour passer de la démo à la production
Une démo se construit en un jour. Un process de confiance se mérite, cas après cas, mesure après mesure. C’est ce prix-là qui sépare une IA qui impressionne d’une IA qu’on adopte.
Reste une fondation dont dépend tout le reste, et dont personne n’aime parler : à qui ces process ont-ils accès, et sur quelles données s’appuient-ils ?
Rendez-vous tous les jeudis pour une nouvelle session de rattrapage !
