La discipline de l’expérimentation à l’ère du Product Management

Dans un monde numérique en constante évolution, où les attentes des utilisateurs changent sans cesse et où la concurrence est féroce, il est essentiel d’orchestrer une expérience digitale optimale pour ravir les utilisateurs et accroître la profitabilité. Les Product Managers et les experts du CRO (optimisation du taux de conversion) partagent ces objectifs et cherchent continuellement à maximiser l’efficacité de leurs stratégies.

Pascal Davis, Senior Manager Product, et Charlaine Sintes, Manager Analytics et Conversion chez Converteo, se penchent sur le rôle de la data et de l’expérimentation dans la Discovery Produit. 

Comment les tests réalisés peuvent-ils aider les stratégies produit ?

Pascal Davis (Senior Manager Product chez Converteo) :
Les produits digitaux les plus innovants sont le fruit d’une expérimentation rigoureuse. En adoptant le product analytics, l’application de la démarche scientifique et de l’inférence statistique, les Product Managers peuvent déterminer objectivement les projets à mettre en œuvre ou à abandonner. Les tests A/B sont essentiels pour valider des hypothèses, réduire les risques et prendre des décisions éclairées.
Les équipes Produit les plus performantes et impactantes font de la “Data Discovery” une pratique incontournable et essentielle. Des leaders comme Jeff Bezos (Amazon), Brian Chesky (Airbnb) et Ted Sarandos (Netflix) ont imposé des principes rigoureux d’expérimentation dès leurs débuts, insistant sur la validation scientifique en phase de discovery avant de scaler en phase de delivery.

Charlaine Sintes (Manager Analytics et Conversion chez Converteo) :
Les Product Managers peuvent bénéficier des stratégies de CRO et d’expérimentation. Cela améliore la feuille de route produit en alignant les fonctionnalités avec les besoins des utilisateurs et du métier, tout en offrant une perspective plus claire sur ce qui fonctionne ou non. La méthode scientifique déployée en CRO doit être adoptée et validée par les équipes produit pour solidifier et rationaliser l’innovation et ainsi permettre de piloter le backlog à l’outcome et non à l’output. Les tests doivent être priorisés, cadrés par des KPIs SMART (Specific, Measurable, Achievable, Relevant, and Time-bound).

Quels obstacles communs existent à l’adoption des méthodologies de CRO, et comment les surmonter ?

Charlaine Sintes (Manager Analytics et Conversion chez Converteo) :
L’intégration rigoureuse et systématique de l’expérimentation dans le Product Ops implique une démarche volontairement “ROI-iste” ou “data-driven”. Les principaux obstacles à cette approche résultent souvent d’une résistance culturelle et d’un manque de ressources spécialisées. La communication des bénéfices tangibles, tels que l’amélioration des KPI et un meilleur ROI, ainsi que l’investissement dans la formation et le développement des compétences, sont essentiels pour surmonter ces défis. 

Pascal Davis (Senior Manager Product chez Converteo) :
Trop souvent, le principal obstacle est organisationnel. Pour schématiser, le CRO réside côté marketing avec des compétences analytiques avancées mais une portée limitée (action sur l’UX web en client-side). Les équipes produit, avec un champ d’action plus vaste (server-side), manquent souvent d’expertise en tests A/B, même si ces ressources existent ailleurs dans l’organisation. Cela crée une opportunité de collaboration et de synergie entre le CRO et le Product Management. 

Quels outils sont essentiels pour améliorer les stratégies de CRO, et comment sont-ils utilisés ?

Charlaine Sintes (Manager Analytics et Conversion chez Converteo) :
Les outils tels que AB Tasty, Kameleoon, Dynamic Yield et Contentsquare sont cruciaux pour quantifier l’impact des initiatives et ajuster les actions en fonction de leur retour sur investissement. La transition du client-side au server-side transforme la capacité des équipes à réaliser des tests stratégiques, améliorant la sécurité, réduisant la latence et augmentant la performance. Cette évolution permet une personnalisation plus précise pour diverses audiences, augmentant ainsi la pertinence des expériences utilisateur. Parallèlement, les outils et méthodologies CRO se propagent aux différents leviers d’expérience et de performance. De l’optimisation UX (client-side), nous évoluons vers des solutions middleware, comme les tests sur les catalogues produits et les contenus, jusqu’aux expériences applicatives (server-side). 

Pascal Davis (Senior Manager Product chez Converteo) :
Pour innover mieux, il faut agrandir le terrain de jeu du CRO. Les outils server-side des outils établis; mais aussi des solutions nouvelle génération, comme LaunchDarkly, Eppo ou Statsig, visent les équipes produit, DevOps et MLOps, avec du feature flagging et des progressive roll-outs. Ces plateformes permettent d’intégrer la phase finale de la discovery en delivery et permettent les stratégies CRO hors du silo marketing. 

Quels avantages les outils d’IA générative apportent-ils dans le domaine du CRO et de la gestion de produit ?

Pascal Davis (Senior Manager Product chez Converteo) :
Les stratégies de CRO, associées aux outils de génération d’IA et aux plateformes d’analyse comportementale, marquent une évolution significative dans la gestion “data-driven” des produits digitaux. Elles permettent non seulement de répondre rapidement aux besoins du marché, mais aussi de prévoir les attentes des utilisateurs, garantissant ainsi un avantage concurrentiel durable. Comme dans d’autres métiers, l’IA va permettre d’accélérer des programmes d’expérimentation en réduisant le coût marginal d’un test incrémental – l’enjeu stratégique étant toujours d’expérimenter plus et mieux. Toutes les solutions sont en train d’ajouter des features ‘IA’ dans leur roadmap pour accroître la productivité des équipes CRO et Produit sur les phases les plus chronophages du cycle d’un AB Test (analyse détaillée et création de variations par exemple). Ce qu’on ne voit peut-être pas c’est que les outils d’expérimentation sont tout aussi essentiels pour la création de produits GenAI que les GPU. Par exemple, chez OpenAI ou Anthropic, absolument chaque feature et ‘code release’ passe par la plateforme d’expérimentation Statsig: tout y est testé et validé par l’inférence statistique. 

Charlaine Sintes (Manager Analytics et Conversion chez Converteo) :
L’IA générative offre également des possibilités transformatrices pour la personnalisation du contenu, la prédiction des comportements des utilisateurs et les interactions en temps réel, augmentant ainsi l’engagement. Elle joue un rôle crucial dans le développement d’approches CRO transnationales, permettant de déployer des stratégies optimisées et personnalisées pour différents marchés internationaux en facilitant, par exemple, les traductions ou l’adaptation d’images en temps réel.

Pascal Davis (Senior Manager Product chez Converteo) :
En résumé, pour bien innover, il faut bien comprendre son marché, exceller à la discovery, et savoir bien apprendre. Depuis l’apparition de la méthode scientifique et les progrès modernes de la statistique, et avec les développements récents des sciences cognitives et comportementales, on constate qu’une culture de l’expérimentation est indispensable pour créer et optimiser des produits digitaux, par essence perfectibles. Au-delà des outils, ressources et méthodes, c’est le leadership qui seul peut encourager et personnifier une culture d’expérimentation. Prenons l’exemple de Satya Nadella qui dit : « Certains appellent cela une ‘expérimentation rapide’, nous parlons de ‘test d’hypothèse’. Au lieu de dire « J’ai une idée », si vous disiez « J’ai une nouvelle hypothèse, testons-la, voyons si elle est valide, demandons-nous à quelle vitesse nous pouvons la valider. » Et si elle n’est pas valide, passons à la suivante. ». Ce propos peut paraître évident, mais c’est une énorme exception culturelle, surtout dans notre hexagone. Il est très important de promouvoir le rapprochement des équipes CRO et Produit pour une acculturation mutuelle, mais il est encore plus important de promouvoir l’expérimentation comme un impératif stratégique auprès de COMEX ambitieux. 

Inscrivez-vous à notre newsletter dédiée aux métiers du Product Management :