Comment évaluer l’efficacité de mes campagnes Marketing ? Épisode 01

L’efficacité des campagnes marketing est l’enjeu numéro un de tous les marketeurs. Quelle combinaison de canaux dois-je déployer afin de maximiser mon taux de conversion ? Combien dois-je investir sur chaque canal ? Combien me rapporte chaque euro investi ?

Dans une stratégie de marketing online, des modèles d’attribution permettent de répondre à ces questions, en mesurant le niveau de contribution de chaque canal dans les conversions générées.

‍

Des modèles d’attribution simples

Lorsque l’on parle de modèles d’attribution, certains y voient une dimension mathématique de prime abord complexe et repoussant. Or, il existe plusieurs modèles d’attribution simples, souvent appelés modèles traditionnels, basés sur des règles prédéfinies.

Une conversion génère une valeur et se produit suite à une ou plusieurs actions marketing online. On peut attribuer la valeur générée aux actions selon les modèles suivants :

Premier / Dernier clic : Ces deux modèles attribuent toute la valeur générée par la conversion au canal correspondant au premier ou au dernier clic. Ces deux modèles ont l’avantage d’être facilement compréhensibles.

Premier / Dernier clic :

Ces deux modèles attribuent toute la valeur générée par la conversion au canal correspondant au premier ou au dernier clic. Ces deux modèles ont l’avantage d’être facilement compréhensibles.

Dernier clic indirect : Comme son nom l’indique, ce modèle attribue la conversion au dernier canal indirect (excluant la saisie directe de l’URL). Ce modèle traduit le principe qu’une conversion directe résulte d’une action préalable via un autre canal ou de la notoriété de la marque.

Dernier clic indirect :

Comme son nom l’indique, ce modèle attribue la conversion au dernier canal indirect (excluant la saisie directe de l’URL). Ce modèle traduit le principe qu’une conversion directe résulte d’une action préalable via un autre canal ou de la notoriété de la marque.

Attribution Linéaire : Ce modèle attribue la valeur de la conversion d’une manière uniforme à tous les canaux activés précédant la conversion.

Attribution Linéaire :

Ce modèle attribue la valeur de la conversion d’une manière uniforme à tous les canaux activés précédant la conversion.

Attribution croissante ou décroissante dans le temps : Nommée Time decay en anglais, ce modèle attribue la valeur d’une conversion de manière croissante ou décroissante selon la position du canal dans le chemin de conversion.

Attribution croissante ou décroissante dans le temps :

Nommée Time decay en anglais, ce modèle attribue la valeur d’une conversion de manière croissante ou décroissante selon la position du canal dans le chemin de conversion.

Attribution parabolique par position (ou en U) : Dans ce modèle d’attribution, des pourcentages définis de la valeur de conversion sont attribués au premier et au dernier point de contact, et le reste est réparti de manière parabolique sur ceux entre les deux.

Attribution parabolique par position (ou en U) :

Dans ce modèle d’attribution, des pourcentages définis de la valeur de conversion sont attribués au premier et au dernier point de contact, et le reste est réparti de manière parabolique sur ceux entre les deux.

‍

Le choix parmi ces modèles est souvent justifié par des intuitions métier. Les trois premiers modèles choisissent le canal unique porteur de la conversion. Les trois derniers modèles tentent d’attribuer la valeur d’une conversion à tous les canaux ayant pu l’influencer.

Le problème majeur est que ces règles prédéfinies ne tiennent compte ni des caractéristiques des canaux ni des synergies inter-canaux. Par exemple, le display est plus efficace quand il intervient tôt dans le processus de conversion (Abhishek, Fader, P., & Hosanagar, K., 2012).

C’est pourquoi un marketeur peut vouloir aller au-delà de ces règles basiques et opter pour un modèle d’attribution "sur mesure".

‍

Des modèles d’attribution plus intelligents

Deux grandes approches permettent d’intégrer la globalité des informations des chemins de conversion pour mieux évaluer la contribution de chaque canal. L’une est basée sur des modèles probabilistes et l’autre sur des modèles ensemblistes.

‍

Un modèle probabiliste pour répondre aux problèmes d’attribution

Un chemin de conversion peut être vu comme un processus stochastique (processus défini comme aléatoire), où un client passe d’un canal à un autre avant de convertir.

Ce type de processus stochastique est appelé un processus Markovien. En effet, une chaîne de Markov permet de mettre en relief la probabilité de passer d’un état à un autre. Elle est définie comme M=<S,W>, où S est l’ensemble des états et W est une matrice de transition entre les différents états. Chaque composante Wi,j de la matrice W correspond à la probabilité de passer de l’état Si à Sj.

L’utilisation des chaînes de Markov dans les modèles d’attribution vient du travail de Archak et al où chaque état correspond à un canal (auxquels s’ajoutent 3 états : Début, Conversion, Nulle). La contribution de chaque canal est évaluée par l’effet de suppression, consistant à évaluer l’impact engendré par la suppression de ce canal sur la probabilité de conversion.

Considérant un exemple avec trois parcours de conversion et trois canaux :

• Debut → C1 → C2 → C3 → Conversion
• Debut → C2 → C3 → Nulle
• Debut → C1 → Nulle

En se basant sur les fréquences de transition entre états successifs, on obtient la chaine de Markov suivante :

‍

La contribution d’un canal dans la conversion est inversement proportionnelle au rapport entre les probabilités de conversion dans le cas du modèle complet et dans le cas où le canal est supprimé. Dans notre exemple, la probabilité de conversion est de 33.33% et correspond aux deux chemins :

‍Debut → C1 → C2 → C3 → Conv et Debut → C2 → C3 → Conv.

Considérant le cas où le canal C1 est supprimé, la chaine de Markov correspondante sera :

‍

‍

Après suppression du canal C1, la probabilité de conversion est de 16.67% et correspond au chemin :

‍Debut → C2 → C3 → Conv.

Par conséquent, l’effet de suppression associé au canal C1 correspond à une perte de 50% des conversions (1 - 0,1667 / 0,3333). En reproduisant le même schéma, l’effet de suppression associé aux canaux C2 et C3 est de 100%. L’attribution, dans notre exemple, en se basant sur les chaînes de Markov est donc :

• L’attribution de C1  : 20 % = 50% / (50%+100%+100%)
• L’attribution de C2  : 40 % = 100% / (50%+100%+100%)
• L’attribution de C3  : 40 % = 100% / (50%+100%+100%)

On peut donc dire dans cet exemple que sur l’ensemble des conversions générés, 20 % sont dues à C1, 40 % sont dues à C2 et 40 % sont dues à C3.

L’utilisation des chaînes de Markov comme modèle d’attribution a beaucoup d’avantages computationnels. Cependant, le fait que la probabilité de chaque état n’est conditionnée que par l’état qui le précède, fait que le modèle ignore les synergies qui peuvent exister entre les canaux. Il est donc conseillé d’utiliser des chaînes de Markov d’ordre supérieur, souvent d’ordre 3 ou 4, où la probabilité d’un état repose sur les 3 ou 4 derniers états.

L’approche ensembliste représente une alternative tenant compte des interactions possible entre les canaux.

‍

Une approche ensembliste pour évaluer la contribution des canaux

Il existe une métrique en théorie des jeux coopératifs permettant d’évaluer la contribution de chaque joueur dans un groupe, en tenant compte des synergies entre les membres du groupe. Cette métrique est appelée valeur de Shapley. Elle permet d’inférer la valeur d’un joueur à partir de sa contribution dans toutes les coalitions possibles. L’utilisation de la valeur de Shapley dans les modèles d’attribution se base sur les travaux de Dalessandro et al (2012) et Berman (2018) et part du principe qu’il peut exister des synergies positives ou négatives entres les canaux (les joueurs dans le formalisme d’origine).  

Considérant l’exemple d’une campagne marketing avec 3 canaux. La première étape consiste à évaluer les conversions associées aux différents sous-groupes de canaux :

• Aucun canal => 0 conversion (Normalement, il faudrait prendre la baseline. Pour raison de simplification, dans cet exemple, on considère que toutes les conversions sont liées à un canal) ;
• C1=> 6 conversions ; C2 => 3 conversions ; C3 => 5 conversions ;
• {C1,C2} => 11 conversions ; {C2,C3} => 8 conversions ; {C1,C3} => 6 conversions ;
• {C1,C2,C3} => 19 conversions.

‍

La première étape consiste à apprendre la contribution marginale apportée par chaque canal dans les différents chemins de conversion possible.

Par exemple, dans le chemin de conversion C1 → C2 → C3, la contribution marginale de C1 est le nombre de conversions en plus par rapport au cas où il n’y a aucun canal, la contribution marginale de C2 est le nombre de conversions apportées en plus par rapport à C1 et la contribution marginale de C3 correspond au nombre de conversions additionnelles par rapport à quand il y avait seulement C1 et C2. Le résultat de notre exemple est alors :

‍

Après avoir calculé les contributions marginales des canaux sur les 6 combinaisons d'ordres possibles, la valeur de Shapley associée à chaque canal est en moyenne sur 19 conversions :

• C1 est responsable de (6+8+6+1+11+11) / 6 = 7.17 conversions ;
• C2 est responsable de (5+3+13+13+3+3) / 6 = 6.67 conversions ;
• C3  est responsable de (8+8+0+5+5+5) / 6 = 5.16 conversions.

Le résultat en terme de contribution relative est donc : C1 contribue à 37.73 % (7.17/19) des conversions, C2 à 35.11% (6.67/19) des conversions, et C3 à 27.16 % (5.16/19) des conversions.

‍

En quoi peut me servir le résultat d’un modèle d’attribution ?

Le résultat d’un modèle d’attribution est certes descriptif, mais il ouvre la porte à une analyse de type coût / bénéfice. Connaître la contribution de chaque canal aux conversions permet de calculer un ROI par canal et de mieux décider des affectations budgétaires par canal.

Dans ce but, le choix du modèle peut avoir une incidence importante. Malheureusement, il n’y a pas de "meilleur" modèle de façon absolu. La performance des modèles dépend des caractéristiques de l’annonceur et de ses actions d’acquisitions.

Par contre, il existe différents critères permettant d’évaluer les modèles d’attribution. L’agrégation de ces critères doit permettre de faire un choix éclairé.

‍

Au prochain épisode de la série "Comment évaluer l’efficacité de mes campagnes Marketing ?", on détaillera les critères d’évaluation des modèles et les modalités d’agrégation.

Suivez-nous !

‍

Bibliographie :

Abhishek,V., Fader, P., & Hosanagar, K. (2012). Media exposure through the funnel: A model of multi-stage attribution. Availableat SSRN 2158421.

Berman, R. (2018). Beyond the last touch: Attributionin online advertising. Marketing Science, 37(5), 771-792.

Dalessandro, B., Perlich, C., Stitelman, O., &Provost, F.  (2012). Causally motivatedattribution for online advertising. In Proceedings of the SixthInternational Workshop on Data Mining for Online Advertising and InternetEconomy, (pp. 1-9).

‍