Précédemment dans la série d’articles « comment évaluer l’efficacité de mes campagnes marketing ? », nous avons présenté et développé plusieurs modèles d’attribution répartis entre modèles simples et modèles sophistiqués. L’objectif premier derrière l’utilisation d’un modèle d’attribution est de décrire la performance des canaux et être en mesure d’évaluer le ROI associé à chaque canal, afin d’optimiser la stratégie marketing. Le choix du modèle est d’une importance cruciale, vu que la stratégie marketing va en dépendre. Cependant, le modèle le plus sophistiqué n’est pas nécessairement le plus efficace (Little, 1970 ; Lodish, 2001). Chaque modèle a des avantages et des inconvénients et de ce fait on ne peut pas parler de meilleur modèle pour tous.
Dans cet article on va répondre à deux questions :
- Comment évaluer la compatibilité des modèles avec le problème d’attribution des conversions ?
- Comment choisir le bon modèle d’attribution parmi les modèles évalués
Évaluation de la performance des modèles d’attribution
Le choix d’un modèle d’attribution se rapporte à une qualification de la compatibilité du modèle avec les données ou les caractéristiques du problème de conversion. En pratique, il est nécessaire de tester les modèles en se posant les six questions suivantes :
Le modèle est-il objectif ou biaisé ?
Un bon modèle d’attribution doit être capable d’évaluer objectivement les canaux en fonction de leurs capacités à générer de la valeur. L’objectivité d’un modèle dépend des caractéristiques du problème d’attribution tel que le nombre de canaux.
En effet, les modèles résumant un chemin de conversion en un clic risquent de ne pas être "objectifs" vu qu’ils ignorent l’intervention des autres canaux. Mais, ces mêmes modèles peuvent être considérés par le marketeur comme "objectifs" si les actions passent principalement par deux canaux, et que les chances que le client soit touché par les deux sont faibles.
On peut évaluer ce critère sur une échelle binaire (0-1), où 1 indique que le modèle est "objectif" et 0 que non.
Le modèle répond-il à mon problème correctement ?
Comme énoncé en introduction, un modèle d’attribution doit bien décrire la capacité de chaque canal à générer des conversions. Dans cette perspective, un bon modèle doit avoir une bonne "précision" de prédiction (Lodish, 2001). Ce critère représente le degré de confiance qu’on peut associer à l’attribution issue d’un modèle.
Plusieurs métriques connues en data science permettent l’évaluation du critère "précision" comme, à titre d’exemple, Precision/Recall ou l’air sous la courbe (AUC) ROC.
Le modèle testé est-il robuste ?
Les modèles d’attribution sont souvent utilisés en marketing pour répondre à des questions stratégiques. Pour cette raison, un modèle d’attribution doit être stable dans le temps. D’un côté, l’attribution donnée par le modèle doit être reproductible : un modèle donnant des attributions différentes à chaque exécution, sur le même data set, n’est pas convainquant. D’un autre côté, un bon modèle d’attribution ne doit pas être sensible aux petites fluctuations de données. Comme le critère précédent, le critère "robustesse" représente une mesure de confiance qu’on peut avoir dans les résultats d’un modèle.
Pour évaluer ce critère, il suffit d’exécuter le même modèle à plusieurs reprises et d’évaluer la stabilité des résultats (Little, 1970 ; Little, 2004 ; Shao and Li, 2011). Quant à la "robustesse" face aux différents scénarios potentiels, on peut séparer les données par périodes et opérer une cross-validation.
Le modèle est-il compréhensible par les marketeurs ?
Un marketeur doit se sentir à l’aise avec le modèle d’attribution utilisé, afin qu’il puisse rapporter ses résultats aux différentes parties prenantes, les justifier et être confiant dans la décision marketing qui en découle. Pour cette raison, un bon modèle d’attribution ne doit pas être une black-box mais être interprétable et facile à utiliser. On parle donc du critère "interprétabilité" du modèle.
Ce critère peut être évalué par le marketeur, sur une échelle ordinale, de 1 à 5, où 1 réfère à « Modèle black-box » et 5 réfère à « Modèle clair ».
dans la série d’articles « comment évaluer l’efficacité de mes campagnes marketing ? », nous avons présenté et développé plusieurs modèles d’attribution répartis entre modèles simples et modèles sophistiqués. L’objectif premier derrière l’utilisation d’un modèle d’attribution est de décrire la performance des canaux et être en mesure d’évaluer le ROI associé à chaque canal, afin d’optimiser la stratégie marketing. Le choix du modèle est d’une importance cruciale, vu que la stratégie marketing va en dépendre. Cependant, le modèle le plus sophistiqué n’est pas nécessairement le plus efficace (Little, 1970 ; Lodish, 2001). Chaque modèle a des avantages et des inconvénients et de ce fait on ne peut pas parler de meilleur modèle pour tous.
Dans cet article on va répondre à deux questions :
- Comment évaluer la compatibilité des modèles avec le problème d’attribution des conversions ?
- Comment choisir le bon modèle d’attribution parmi les modèles évalués
Évaluation de la performance des modèles d’attribution
Le choix d’un modèle d’attribution se rapporte à une qualification de la compatibilité du modèle avec les données ou les caractéristiques du problème de conversion. En pratique, il est nécessaire de tester les modèles en se posant les six questions suivantes :
Le modèle est-il objectif ou biaisé ?
Un bon modèle d’attribution doit être capable d’évaluer objectivement les canaux en fonction de leurs capacités à générer de la valeur. L’objectivité d’un modèle dépend des caractéristiques du problème d’attribution tel que le nombre de canaux.
En effet, les modèles résumant un chemin de conversion en un clic risquent de ne pas être "objectifs" vu qu’ils ignorent l’intervention des autres canaux. Mais, ces mêmes modèles peuvent être considérés par le marketeur comme "objectifs" si les actions passent principalement par deux canaux, et que les chances que le client soit touché par les deux sont faibles.
On peut évaluer ce critère sur une échelle binaire (0-1), où 1 indique que le modèle est "objectif" et 0 que non.
Le modèle répond-il à mon problème correctement ?
Comme énoncé en introduction, un modèle d’attribution doit bien décrire la capacité de chaque canal à générer des conversions. Dans cette perspective, un bon modèle doit avoir une bonne "précision" de prédiction (Lodish, 2001). Ce critère représente le degré de confiance qu’on peut associer à l’attribution issue d’un modèle.
Plusieurs métriques connues en data science permettent l’évaluation du critère "précision" comme, à titre d’exemple, Precision/Recall ou l’air sous la courbe (AUC) ROC.
Le modèle testé est-il robuste ?
Les modèles d’attribution sont souvent utilisés en marketing pour répondre à des questions stratégiques. Pour cette raison, un modèle d’attribution doit être stable dans le temps. D’un côté, l’attribution donnée par le modèle doit être reproductible : un modèle donnant des attributions différentes à chaque exécution, sur le même data set, n’est pas convainquant. D’un autre côté, un bon modèle d’attribution ne doit pas être sensible aux petites fluctuations de données. Comme le critère précédent, le critère "robustesse" représente une mesure de confiance qu’on peut avoir dans les résultats d’un modèle.
Pour évaluer ce critère, il suffit d’exécuter le même modèle à plusieurs reprises et d’évaluer la stabilité des résultats (Little, 1970 ; Little, 2004 ; Shao and Li, 2011). Quant à la "robustesse" face aux différents scénarios potentiels, on peut séparer les données par périodes et opérer une cross-validation.
Le modèle est-il compréhensible par les marketeurs ?
Un marketeur doit se sentir à l’aise avec le modèle d’attribution utilisé, afin qu’il puisse rapporter ses résultats aux différentes parties prenantes, les justifier et être confiant dans la décision marketing qui en découle. Pour cette raison, un bon modèle d’attribution ne doit pas être une black-box mais être interprétable et facile à utiliser. On parle donc du critère "interprétabilité" du modèle.
Ce critère peut être évalué par le marketeur, sur une échelle ordinale, de 1 à 5, où 1 réfère à « Modèle black-box » et 5 réfère à « Modèle clair ».
Le modèle peut-il être générique ?
Dans un monde où la technologie évolue rapidement, plus un modèle d’attribution est générique mieux c’est. Ce point concerne le critère "adaptabilité" du modèle à l’environnement du problème comme dans le cas de l’apparition d’un nouveau canal ou de la suppression d’un autre. Il doit donc être flexible à l’apparition de nouvelle informations et personnalisable par le marketeur.
Une étude de robustesse vis-à-vis de différents scénarios peut être menée dans le but d’évaluer ce critère.
A quel point le modèle est rapide ?
En informatique de manière générale, la complexité algorithmique déterminée par le critère "rapidité" d’exécution du modèle, est un des paramètres qui peut influencer l’attractivité et la fréquence d’usage de ce modèle. Un bon modèle d’attribution doit garder une vitesse d’exécution satisfaisante compte tenu de la taille des données. Par exemple, le modèle d’attribution ensembliste basé sur la valeur de Shapley a une complexité exponentielle de l’ordre de 2 à la puissance n, où n est le nombre de canaux, i.e. le nombre de calculs double à chaque canal supplémentaire. L’utilisation d’une telle méthode, même en ayant recourt à des approches heuristiques, risque de prendre beaucoup de temps comparé aux méthodes simples ou à une chaine de Markov d’ordre 1.
En répondant à ces questions, on sera en mesure d’avoir une évaluation multicritère de la compatibilité des modèles avec le problème d’attribution. Les réponses aux six questions peuvent être représentées comme suite :
- Pour le critère « objectivité », on opte pour une représentation binaire
- Pour les cinq critères restants, on leurs associe une échelle de 1 à 5, où 1 est associé à une performance médiocre, 3 à une performance moyenne et 5 à une performance excellente.
La figure ci-dessous illustre une représentation possible des réponses aux 6 questions.
Cependant, le choix du modèle d’attribution reste problématique vu l’aspect conflictuel des performances (absence d’un modèle qui est meilleur pour les 6 critères).
Ce qui nous mène à la seconde question de notre article.
Comment choisir mon modèle d’attribution ?
Il existe plusieurs outils d’analyse multicritères permettant d’agréger les performances de chaque modèle d’attribution et de générer un classement. Dans ce qui suit, on va considérer les modèles d’attributions comme des « alternatives ». On distingue deux approches : compensatoires et non compensatoires.
Les approches compensatoires :
Comme leur nom l’indique, ces méthodes permettent d’associer un score à chaque alternative, souvent via une somme pondérée, représentant une valeur de compromis entre les différents critères. Dans ce genre de méthodes, il est nécessaire d’opérer une transformation sur chaque critère, convexe ou concave selon si on veut pénaliser les petites ou les grandes valeurs, avant de les agréger. Une telle transformation permet de pénaliser le modèle très mauvais sur un critère ou au contraire de favoriser le modèle très bon sur un critère.
Plusieurs méthodes peuvent être appliquées dans ce genre de problèmes multicritères :
- Des méthodes d’utilités additives (par exemple MAUT / MAVT) dont le concept est assez simple : on opère sur chaque critère une transformation dite d’utilité marginale et on agrège via une somme pondérée pour avoir une utilité globale de l’alternative. La meilleure alternative est alors celle qui a la plus grande utilité globale.
- Des méthodes d’utilités multiplicatives qui diffèrent des précédentes uniquement dans la manière dont les utilités marginales sont agrégées : l’utilité globale résultante est la multiplication des utilités marginales ce qui pénalise encore plus les mauvaises performances.
- La méthode TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution), après normalisation des valeurs sous chaque critère, on évalue deux distances de similarité pour chaque alternative, la première entre l’alternative et un point idéal (alternative fictive ayant la meilleure performance rencontrée sous chaque critère) et la seconde entre le modèle et le point nadir (alternative fictive ayant la pire performance possible sous chaque critère).
Un score est calculé en se basant sur ces deux distances et la meilleure alternative est celle qui maximise ce score : celle qui est la plus proche du point idéal et la plus loin du point nadir.
Les approches non compensatoires :
Les modèles multicritères non compensatoires sont des modèles qui exploitent le classement des alternatives sous chaque critère. Ce sont des méthodes qui sont souvent basés sur des comparaisons entre chaque paire d’alternatives.
Une des méthodes les plus simples, consiste à faire un choix selon la hiérarchie d’importance octroyée par le marketeur aux critères. On choisit le meilleur modèle selon le critère le plus important. Dans le cas où plusieurs modèles partagent la première position dans le classement, on compare leurs performances sur le second critère dans la hiérarchie et ainsi de suite.
A l’inverse, on pourra vouloir considérer tous les critères et dans ce cas on pourra opter pour des méthodes, dites d’agrégation majoritaire, consistant à éliminer les alternatives ayant de mauvaises performances selon certains critères et de comparer, pour les alternatives restantes, l’ordre entre chaque paire d’alternatives sous chaque critère. Le modèle d’attribution à choisir correspondra à l’alternative qui est mieux classée que les autres selon une majorité de critères.
Toutes ces approches peuvent paraître fastidieuses pour simplement choisir un modèle d’attribution. Mais les sommes engagées dans les campagnes marketing restent élevées, et prendre le temps, lors de la définition de son budget annuel, de sélectionner le meilleur modèle pour mesurer l’efficacité des campagnes que l’on souhaite planifier est un temps qui sera forcément rentabilisé.
Le prochain épisode de la série « comment évaluer l’efficacité de mes campagnes Marketing ? » sera dédié à l’évaluation de la contribution des canaux dans le cas des campagnes Offline vu l’importance qu’ils occupent dans le secteur du marketing.
Suivez-nous !
Bibliographie :
Anderl, E., Becker, I., Wangenheim, F. V., & Schumann, J. H. (2014). Mapping the customer journey: A graph-based framework for online attribution modeling. Available at SSRN 2343077.
Leeflang, P. S., Wittink, D. R., Wedel, M., & Naert, P. A. (2013). Building models for marketing decisions (Vol. 9), pp 101-120. Springer Science & Business Media.
Li, H., & Kannan, P. K. (2014). Attributing conversions in a multichannel online marketing environment: An empirical model and a field experiment. Journal of Marketing Research, 51(1), 40-56.
Little, J. D. (1970). Models and managers: The concept of a decision calculus. Management science, 16(8), B-466
Lodish, L. M. (2001). Building marketing models that make money. Interfaces, 31(3_supplement), S45-S55.
Shao, X., & Li, L. (2011, August). Data-driven multi-touch attribution models. In Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 258-264).
