Comment mesurer l’impact réel de vos actions marketing avec le Causal Impact ?

Consultant au sein de la practice Média et Acquisition de Converteo,Quentin Barrat accompagne nos clients dans l’amélioration de leurs performances d’acquisition. Spécialiste de la mesure et de l’analyse des résultats, il met en place des solutions personnalisées pour comprendre leurs enjeux et les aider à atteindre leurs objectifs de croissance.

À retenir

• L’analyse Causal Impact est une méthodologie statistique robuste qui permet de mesurer l’incrémentalité de vos actions marketing lorsque les tests A/B traditionnels ne sont pas réalisables
• Cette approche s’intègre parfaitement dans un learning agenda structuré, permettant d’obtenir des insights actionnables pour optimiser vos stratégies marketing
• La certification de Converteo comme “Google Test & Experiment Partner 2025” valide notre capacité à concevoir et mettre en œuvre des protocoles de mesure sophistiqués de type Causal Impact

Introduction

« Ce test marketing a-t-il vraiment fonctionné ? » « Quelle est ma part de conversions réellement incrémentales ? » Ces questions, tous les marketeurs se les posent. À l’heure où il est nécessaire de démontrer l’apport de chaque euro investi, mesurer l’impact réel de nos campagnes marketing est devenu crucial.

Mais comment être sûr que l’incrément des ventes observé est bien dû à notre dernière campagne publicitaire ? Et si c’était simplement en lien avec la saisonnalité ? Ou l’effet d’une tendance générale du marché ?

Dans cet article sur notre blog, nous expliquions notre approche du learning agenda: un plan structuré pour tester, mesurer et apprendre de nos actions marketing. Les mesures d’incrémentalité qui sont au cœur de cette démarche peuvent prendre plusieurs formes.

Mesurer l’incrémentalité : les différentes approches

A. Les méthodes de mesure d’incrémentalité

La mesure de l’incrémentalité représente un enjeu fondamental en marketing : elle nous permet de comprendre l’impact réel de nos actions. Pour y parvenir, plusieurs méthodes s’offrent à nous, chacune présentant ses propres caractéristiques et domaines d’application, définie dans le learning agenda.

• Les tests A/B : ce test consiste à diviser l’audience en deux groupes : le premier groupe ‘test’ exposé à une modification, le second servant de contrôle. Un de ses atouts est sa rigueur statistique et la fiabilité de ses résultats. Cependant, cette méthode comporte des limitations importantes : elle est soumise aux contraintes liées aux cookies (pour création des groupes test/contrôle) et ne permet généralement de mesurer qu’un seul KPI à la fois.
• Les tests géographiques (GeoX) constituent une alternative intéressante dans un contexte cookieless. Ce test compare les performances entre différentes zones géographiques (exposées/non exposées). Ses principales limites résident dans la complexité de sa mise en œuvre et la nécessité d’avoir des zones géographiques véritablement comparables.
• L’analyse Pré-Post, enrichie par le Causal Impact, offre une troisième possibilité. Avec sa modélisation statistique, elle permet d’estimer l’impact d’une intervention et ce qui se serait passé en l’absence de celle-ci, permettant ainsi de quantifier son impact réel. Elle présente l’avantage considérable de pouvoir être appliquée rétroactivement, mais nécessite des données de haute qualité et une expertise dans l’interprétation des résultats.

Parmi ces différentes possibilités de mesure, le Causal Impact permet de fournir des insights lorsque les tests plus traditionnels ne sont pas réalisables ou moins pertinents. Cette approche, développée par Google et disponible en opensource, mérite que l’on s’y attarde grâce à sa flexibilité et sa robustesse statistique. Examinons maintenant en détail les différentes situations dans lesquelles ce test s’avère pertinent.

B. L’analyse Causal Impact : quand l’utiliser ?

Le Causal Impact est une analyse de type Pré-Post, qui peut être mis en place quand :

• Il n’est pas possible de faire un test A/B
• Il faut analyser l’impact d’un changement passé
• Il faut mesurer l’impact sur des KPI externes aux plateformes média

La méthode d’analyse  Causal Impact en détail

A. La méthode

L’analyse Causal Impact est basée sur une méthodologie statistique bayésienne pour analyser la manière dont un changement donné évolue en fonction d’autres facteurs qui peuvent l’influencer. En d’autres termes, il permet d’estimer l’impact réel d’un changement en comparant ce qui s’est passé à ce qui aurait pu se passer sans cette intervention. Cette approche repose sur trois étapes fondamentales :

1. Créer un modèle de référence. Pour cela, on analyse la période avant le changement pour comprendre comment la métrique que l’on veut tester évolue naturellement. Le modèle prend en compte les tendances passées, les variations saisonnières et l’influence d’autres variables pertinentes.
2. Créer un scénario hypothétique, appelé contrefactuel. Grâce aux relations identifiées avant le changement, le modèle estime ce qui se serait passé après, si aucun changement n’avait eu lieu. Ce n’est pas une prolongation des tendances passées, mais une prédiction qui tient compte des interactions entre les variables.
3. Mesurer l’impact réel du changement. On compare les données observées après l’intervention avec le scénario hypothétique prévu sans changement. La différence entre les deux, avec une marge d’incertitude, permet d’estimer l’effet réel du changement.

B. L’implémentation technique

Une fois l’étape de cadrage du test validant la pertinence de l’analyse Causal Impact pour le test, l’implémentation de Causal Impact nécessite d’avoir une approche structurée en plusieurs étapes techniques distinctes, chacune requérant une attention particulière pour garantir la fiabilité des résultats.

1. Préparation des données. Elle nécessite :

• Un historique minimal de 6 mois de données 
• Une granularité temporelle quotidienne
• L’identification d’événements pouvant venir biaiser les résultats du test (ex : temps fort promotionnel apportant une forte fluctuation des résultats)
• La validation de la qualité des données

2. Sélection et validation des variables de contrôle. Ces variables doivent présenter une forte corrélation avec la métrique étudiée tout en restant indépendantes de l’intervention. Par exemple, pour une analyse SEA, on pourrait utiliser :

• Du trafic shopping si on test du texte (ou inversement)
• Le trafic organique
• Des tendances de recherches Google trends
• Des indicateurs macro-économiques pertinents

3. Configuration du modèle et ses paramètres techniques :

Pour faciliter cette étape technique, deux solutions principales s’offrent à vous :

L’utilisation de Causmos, un outil open-source développé par Google qui simplifie la mise en place de l’analyse via une interface user-friendly. Cet outil permet :

• D’importer et visualiser facilement les données
• De définir les périodes pré/post intervention
• De sélectionner les variables de contrôle pertinentes
• D’obtenir des visualisations claires des résultats

L’implémentation directe via le package CausalImpact offre plus de flexibilité dans le paramétrage :

• Construction du modèle de série temporelle bayésien
• Ajustement des prior distributions
• Configuration fine des paramètres de saisonnalité
• Personnalisation des intervalles de confiance

Le choix de deux possibilités d’outils permet d’adapter l’analyse à différents niveaux d’expertise technique. Nous recommandons l’utilisation de l’outil Causmos afin de permettre aux équipes métier d’être indépendantes dans la réalisation de ce type d’analyse. 

C. Retours d’expérience Converteo

Voici un retour d’expérience de mise en place de l’analyse Causal Impact à travers un cas d’étude réalisé pour un acteur du retail.

L’entreprise cherchait à optimiser sa performance SEA en passant d’une stratégie d’enchères classique à une approche basée sur la valeur client. L’enjeu était double : maximiser le chiffre d’affaires tout en optimisant l’allocation du budget publicitaire sur les produits à plus forte valeur.

Les résultats se sont révélés particulièrement probants : Une augmentation significative du chiffre d’affaires Google Ads (+34%)

Avec un lift de 34% et un intervalle de confiance relativement large [2.8%, 82.5%] en raison de l’exclusion de certaines périodes pour éviter les biais de saisonnalité (soldes d’été, baisse budgétaire), le plus gros challenge de ce type d’étude va être de réduire l’intervalle de confiance pour affiner la précision des résultats. Afin de réduire l’intervalle de confiance, nous avons besoin de trouver des données qui ont un niveau de corrélation important avec la donnée du test.

Cette analyse a non seulement permis de valider la pertinence de la nouvelle stratégie d’enchères, mais a également fourni des insights précieux pour son déploiement à plus grande échelle. La méthodologie Causal Impact a démontré sa capacité à :

• Isoler précisément l’impact du changement de stratégie
• Fournir des résultats statistiquement fiables
• Générer des recommandations actionnables

Conclusion

Cette méthodologie s’inscrit naturellement dans une démarche de learning agenda structurée, permettant aux annonceurs d’extraire des insights actionnables et de gagner progressivement en maturité dans leur approche de la mesure marketing.

Converteo, fort de sa certification Google Test & Experiment Partner 2025, accompagne les annonceurs dans cette démarche, en identifiant les protocoles de mesure les plus pertinents en fonction de leurs enjeux et en garantissant une mise en œuvre rigoureuse de ces méthodologies.

Inscrivez-vous à notre newsletter dédiée aux métiers du Média :