Comment mesurer le ROI d’un agent IA e-commerce ?

Thibauld Vian Deguille, Principal Digital, Data & IA chez Converteo, accompagne les entreprises dans la maximisation de leurs performances digitales et e-commerce. 

À retenir

• Le taux d’utilisation n’est pas un KPI de ROI. Mesurer combien d’utilisateurs ont ouvert le chat ne dit rien sur la valeur générée. Seul l’incrément commercial – panier, conversion, rétention – compte.
• L’uplift modeling et les A/B tests rigoureux sont incontournables, mais sous-employés. La plupart des déploiements se contentent encore de métriques de surface qui flattent les dashboards sans démontrer la rentabilité.
• Le ROI net d’un agent IA, c’est l’incrément de valeur généré moins le coût d’inférence. Sur les segments à faible marge, cet équilibre est fragile et doit être piloté activement.

Le marché des agents IA e-commerce a mûri vite sur le front du déploiement. En 2026, 26 % des acteurs du top 100 de l’e-commerce français sont équipés. Mais un autre retard persiste, moins visible : la capacité à mesurer ce que ces agents rapportent vraiment.

Dans la majorité des cas observés dans notre baromètre de 170 sites e-commerce français, les équipes pilotent encore ces dispositifs avec des indicateurs d’usage – nombre de conversations déclenchées, taux d’ouverture du widget, questions posées par session. Ces métriques ont leur utilité pour suivre l’adoption, mais elles ne répondent pas à la question qui finira par s’imposer dans tous les comités budgétaires : est-ce que cet agent génère plus de valeur qu’il n’en coûte ?

L’exemple d’Amazon avec Rufus donne une première réponse publique : les utilisateurs assistés auraient 60 % de chances supplémentaires de passer au panier par rapport à un utilisateur non assisté. C’est précisément ce type d’incrément que les directions e-commerce doivent apprendre à mesurer – et rares sont celles qui y parviennent aujourd’hui avec rigueur.

Mesurer le ROI d’un agent IA e-commerce : séparer l’usage de la valeur incrémentale

La première étape est conceptuelle. Il faut séparer deux familles de métriques qui mesurent des choses fondamentalement différentes.

• Les indicateurs d’usage rendent compte de l’adoption du dispositif : taux d’activation (part des sessions où l’agent est sollicité), nombre de conversations par jour, durée moyenne des échanges, taux de résolution (questions ayant obtenu une réponse satisfaisante). Ces chiffres sont utiles pour détecter des bugs, identifier les cas d’usage les plus sollicités, ou orienter les priorités de développement. Ils ne disent rien sur la rentabilité.
• Les indicateurs de valeur incrémentale sont les seuls qui permettent de construire un business case solide. Parmi eux : le taux de conversion des sessions avec agent vs. sans agent, la valeur panier des sessions assistées vs. non assistées, le taux de retour produit sur les achats réalisés après une conversation (indicateur de qualité du conseil), et la rétention client à 90 jours sur les acheteurs ayant interagi avec l’agent.

Un tableau de bord ROI robuste articule systématiquement ces deux familles, sans jamais confondre l’une avec l’autre.

A/B testing et Uplift modeling : mesurer l’incrément réel de l’IA

Mesurer l’incrément, c’est répondre à une question contrefactuelle : qu’aurait fait cet utilisateur s’il n’avait pas eu accès à l’agent ? Trois approches sont disponibles, avec des niveaux de rigueur et des contraintes opérationnelles très différents.

• L’A/B test classique est la méthode la plus propre. On expose une population aléatoire à l’agent, une autre non, et on compare les métriques de valeur entre les deux groupes. Le problème : il suppose de pouvoir désactiver l’agent pour une partie des utilisateurs, ce qui est techniquement possible mais souvent politiquement difficile à défendre en interne. Par ailleurs, sur les sites à fort trafic, il faut s’assurer d’une durée de test suffisante pour éviter les biais saisonniers.
• L’uplift modeling va plus loin. Plutôt que de traiter tous les utilisateurs à égalité, cette approche cherche à identifier les sous-populations pour lesquelles l’agent a le plus d’impact incrémental. Un utilisateur qui aurait converti de toute façon ne constitue pas un gain attribuable à l’agent ; un utilisateur qui n’aurait pas converti sans conseil, si. Cette granularité est précieuse pour arbitrer entre cas d’usage et concentrer les investissements là où ils créent réellement de la valeur.
• Les méthodes contrefactuelles (matching statistique, difference-in-differences) permettent de reconstituer un groupe contrôle a posteriori lorsqu’un vrai A/B test n’a pas été mis en place. Elles sont utiles pour analyser des déploiements déjà en production, mais exigent des données comportementales riches et des équipes data solides.

ROI net de l’agent IA : l’impact du coût d’inférence e-commerce

La mesure d’incrément n’a de sens que si elle est mise en regard du coût réel du dispositif. Et ce coût est souvent sous-estimé, voire ignoré dans les dashboards ROI.

Chaque conversation avec un agent IA a un coût d’inférence : ce que la marque paie au fournisseur du modèle (OpenAI, Anthropic, Google, Mistral) pour chaque token traité. Pour une conversation de conseil produit approfondie sur un modèle premium, ce coût peut atteindre plusieurs dizaines de centimes. Sur un cas d’usage multimodal (virtual try-on, analyse d’image), il peut dépasser l’euro par échange.

La formule du ROI net est donc : (incrément de valeur générée par conversation) – (coût d’inférence par conversation). Sur les segments à forte marge unitaire, cette équation est confortablement positive. Sur les segments à faible marge, elle peut rapidement s’inverser – et le tableau de bord doit le signaler avant que le P&L ne l’absorbe.

Intégrer ce coût dans le pilotage suppose de le tracer conversation par conversation, de le ventiler par cas d’usage, et de le rapprocher des métriques de valeur. C’est encore rare dans les dispositifs observés aujourd’hui.

Bilan : piloter la rentabilité de l’IA, un avantage concurrentiel

Les déploiements d’agents IA sont aujourd’hui souvent portés par l’enthousiasme technologique et la pression concurrentielle. La plupart survivront à un ou deux cycles budgétaires sur ces bases. Mais à mesure que le marché mûrit, les directions financières vont exiger des preuves.

Les acteurs qui auront investi dans une infrastructure de mesure rigoureuse – A/B testing structuré, uplift modeling, intégration du coût d’inférence dans les tableaux de bord – seront les mieux placés pour défendre leurs budgets, optimiser leurs cas d’usage, et accélérer là où la valeur est réelle.

La pérennité d’un agent IA shopping ne se jouera pas seulement sur la qualité des réponses qu’il génère. Elle se jouera sur la capacité de l’organisation à démontrer, chiffres à l’appui, qu’il vaut ce qu’il coûte.