AB tests locaux : mesurer l’impact géomarketing hors média
Le vrai test géomarketing commence quand on retire le bruit média
Mesurer l’impact géomarketing hors média revient à isoler l’effet d’une décision locale sans l’aide, ni la confusion, d’une pression publicitaire payante. C’est une discipline plus exigeante qu’un reporting Drive-to-Store classique, car elle ne peut pas s’appuyer sur des impressions, des clics ou des visites post-exposition pour construire une narration de performance. L’objet testé peut être une nouvelle signalétique en vitrine, une adaptation d’assortiment par zone, une extension d’horaires, un changement de pricing local, un scénario CRM propriétaire, une mise en avant en magasin, un service de retrait prioritaire ou un dispositif de coupon distribué en caisse. Dans tous les cas, la question est causale : que se serait-il passé dans ces magasins ou ces zones si l’intervention n’avait pas eu lieu ?
Cette question est stratégique pour les enseignes retail et omnicanales. Les budgets média sont souvent audités avec des indicateurs structurés, mais les décisions locales hors média échappent encore à une mesure expérimentale rigoureuse. Un directeur réseau peut décider d’ouvrir plus tard dans certaines zones, un category manager peut renforcer une gamme dans les magasins périurbains, une équipe CRM peut pousser une offre locale aux porteurs de carte fidélité, et le terrain peut modifier le parcours en point de vente. Ces initiatives coûtent parfois moins cher qu’une campagne DSP, demand-side platform, plateforme permettant d’acheter automatiquement des impressions publicitaires, mais elles peuvent mobiliser du stock, du personnel, de la marge et de la complexité opérationnelle. Leur impact doit donc être évalué avec le même niveau d’exigence que celui d’une activation achetée en RTB, real-time bidding, mécanisme d’enchères en temps réel pour acheter une impression disponible.
L’AB test local est l’un des cadres les plus utiles pour y parvenir. Il consiste à exposer certains magasins, zones ou clients à une initiative et à comparer leur évolution à celle d’un groupe témoin comparable. L’objectif n’est pas de prouver qu’un indicateur a bougé, mais d’estimer l’incrémentalité, c’est-à-dire la part de visites, ventes, marge ou réachat réellement additionnelle générée par l’action. Sans cette discipline, les décisions locales risquent d’être pilotées par des corrélations : un magasin test progresse pendant une opération, mais la météo était favorable ; une zone avec nouvelle vitrine vend plus, mais elle bénéficiait déjà d’un trafic organique élevé ; une offre locale semble performante, mais elle a surtout cannibalisé des achats qui auraient eu lieu au prix plein.
Définir précisément ce qui est testé : intervention, unité expérimentale et KPI primaire
Un AB test local échoue souvent avant même son lancement, faute d’hypothèse claire. La première étape consiste à définir l’intervention de manière opérationnelle. Tester une nouvelle expérience locale ne signifie pas seulement écrire qu’un magasin reçoit une optimisation géomarketing. Il faut décrire ce qui change concrètement : assortiment élargi sur trois catégories, mise en avant à l’entrée, coupon de 10 euros valable sept jours, signalétique extérieure, extension d’ouverture de 18 h à 20 h, formation vendeurs, appel sortant local, relance SMS sur base opt-in ou activation d’un service de click and collect prioritaire. Plus l’intervention est floue, plus l’analyse post-test devient contestable.
La deuxième décision concerne l’unité expérimentale. Dans un test digital pur, l’unité est souvent l’utilisateur. En géomarketing hors média, elle peut être le magasin, la zone de chalandise, le code postal, l’isochrone, le segment CRM ou le couple magasin-segment. L’isochrone désigne une zone définie par un temps d’accès réel, à pied, en voiture ou en transport, plutôt que par une distance à vol d’oiseau. Le choix de l’unité dépend du risque de contamination. Si une vitrine est visible par tous les passants, on ne peut pas randomiser individu par individu. Si une offre CRM est envoyée uniquement à certains clients opt-in, une randomisation client est possible, mais il faut contrôler les effets locaux.
Le troisième choix est le KPI primaire. Le KPI, key performance indicator, indicateur principal utilisé pour juger une action, doit être choisi avant le test. Les visites magasin peuvent être pertinentes si l’objectif est le trafic. Mais pour une enseigne mature, les visites seules sont rarement suffisantes. Il faut souvent préférer les tickets, le chiffre d’affaires incrémental, la marge brute, le nombre de nouveaux clients, la réactivation de dormants ou le taux de réachat. Le CPA, cost per acquisition, coût nécessaire pour générer une conversion attribuée ou incrémentale, doit être calculé sur la bonne conversion. Le ROAS, return on ad spend, ratio entre chiffre d’affaires attribué ou incrémental et dépenses marketing, peut être adapté hors média en intégrant les coûts opérationnels : remise, PLV, formation, heures supplémentaires, stock immobilisé, coût CRM et éventuelle perte de marge.
Un exemple illustre l’arbitrage. Une enseigne de décoration teste une nouvelle mise en avant locale dans 40 magasins. Si le KPI primaire est le trafic, le test peut conclure positivement avec une hausse de 6 % des visites. Mais si le panier moyen baisse de 9 % parce que l’opération attire surtout des chasseurs de promotion, la marge peut reculer. À l’inverse, un test d’assortiment peut générer peu de trafic additionnel mais augmenter la marge par ticket. Le KPI primaire doit donc refléter l’objectif économique, pas seulement l’indicateur le plus facile à mesurer.
Construire un groupe témoin crédible : randomisation, appariement et différence-en-différences
Le cœur d’un AB test local est la qualité du groupe témoin. Comparer des magasins test à la moyenne du réseau est presque toujours insuffisant. Les magasins ne partagent pas la même saisonnalité, la même densité de population, la même concurrence, les mêmes flux domicile-travail, le même historique CRM ou le même potentiel de zone. Un magasin de centre-ville piéton ne doit pas être comparé à un magasin de périphérie motorisée sans correction. Un magasin proche d’un concurrent en travaux peut surperformer pour une raison qui n’a rien à voir avec l’intervention.
La méthode la plus robuste reste la randomisation, c’est-à-dire l’attribution aléatoire de l’intervention à certains magasins ou clients. Mais cette randomisation doit être stratifiée. Stratifier signifie répartir test et contrôle à l’intérieur de groupes homogènes : taille de magasin, typologie urbaine, chiffre d’affaires historique, région, pression concurrentielle, maturité CRM, part du e-commerce local, niveau de stock. Par exemple, si 80 magasins sont éligibles, on peut créer des strates de magasins urbains, périurbains et ruraux, puis sélectionner aléatoirement 15 magasins test et 15 témoins dans chaque strate. Cela limite le risque qu’un groupe concentre involontairement les meilleurs emplacements.
Lorsque la randomisation complète est impossible, l’appariement devient indispensable. Il s’agit d’associer chaque magasin test à un ou plusieurs magasins témoins dont les trajectoires préalables sont proches. Les variables d’appariement doivent inclure au minimum 8 à 12 semaines de ventes historiques, trafic, panier moyen, marge, saisonnalité hebdomadaire, densité de zone, concurrence, météo habituelle, actions commerciales nationales et pression CRM. Le score de propension peut aider : il estime la probabilité qu’un magasin reçoive l’intervention à partir de variables observables, puis permet de sélectionner des témoins comparables. Ce n’est pas une preuve parfaite, mais c’est nettement plus rigoureux qu’une sélection intuitive par les équipes terrain.
La différence-en-différences est ensuite le framework le plus lisible pour l’analyse. Elle compare l’évolution du groupe test avant et après intervention à l’évolution du groupe témoin sur la même période. Si les magasins test progressent de 9 % et les témoins de 4 %, l’effet estimé est de 5 points. Cette méthode neutralise une partie des tendances communes, comme une opération nationale ou une saison favorable. Sa condition centrale est l’hypothèse de tendances parallèles : avant le test, les deux groupes devaient évoluer de manière similaire. Cette hypothèse doit être vérifiée graphiquement et statistiquement sur l’historique, et non postulée après coup.
Calculer la puissance statistique : éviter les tests trop petits pour conclure
Beaucoup d’AB tests locaux produisent des débats interminables parce qu’ils sont sous-dimensionnés. Un test sur 6 magasins exposés et 6 témoins peut sembler pragmatique, mais il ne détectera pas un uplift réaliste si les ventes varient fortement d’une semaine à l’autre. La puissance statistique mesure la capacité d’un test à détecter un effet réel. Le minimum detectable effect, ou effet minimum détectable, indique la plus petite variation que le dispositif peut identifier avec un niveau de confiance acceptable. Si l’entreprise espère un gain de marge de 3 %, mais que le test ne peut détecter que des variations supérieures à 12 %, le protocole est structurellement incapable de répondre à la question.
Le calcul dépend de plusieurs paramètres : nombre de magasins, durée du test, variance historique, corrélation intra-magasin, niveau de confiance et taille d’effet attendue. Dans les tests par magasins, l’erreur classique consiste à confondre nombre de tickets et nombre d’unités expérimentales. Si 20 magasins génèrent 200 000 tickets, le test n’a pas 200 000 unités indépendantes pour une intervention magasin. Il a 20 clusters. Un cluster désigne un groupe d’observations liées entre elles, ici les ventes d’un même magasin. Les comportements au sein d’un magasin sont corrélés : équipe, emplacement, stock, clientèle locale. Ignorer cette corrélation conduit à surestimer la significativité.
Un cas chiffré permet de cadrer les ordres de grandeur. Une enseigne alimentaire veut tester une extension d’horaires sur 30 magasins. Le chiffre d’affaires hebdomadaire moyen par magasin est de 180 000 euros, avec un écart-type historique de 18 000 euros. L’effet attendu est de 3 %, soit 5 400 euros par semaine. Si le test dure deux semaines avec 15 magasins test et 15 témoins, la variabilité peut rendre l’effet difficile à isoler. En prolongeant à six semaines, ou en augmentant à 40 magasins test et 40 témoins, la capacité de détection s’améliore nettement. Le coût opérationnel du test augmente, mais la probabilité d’obtenir une conclusion exploitable augmente aussi.
La durée doit toutefois respecter le cycle d’achat. Pour une opération de restauration ou de proximité, quelques jours peuvent suffire si l’objectif est immédiat. Pour l’équipement de la maison, l’optique, l’automobile ou les services avec rendez-vous, une fenêtre de 3 à 8 semaines est souvent plus réaliste. Le funnel, parcours allant de l’exposition ou du contact à la considération, puis à la conversion et à la fidélisation, peut être long même hors média. Une nouvelle vitrine peut déclencher une visite immédiate ; une offre de rénovation de cuisine peut produire des leads sur plusieurs semaines. La fenêtre de mesure doit donc être alignée avec la latence de décision.
Mesurer hors média ne signifie pas mesurer moins : données caisse, CRM, trafic et conformité terrain
Un test local hors média nécessite une instrumentation sérieuse. Les données caisse constituent souvent la source centrale : chiffre d’affaires, tickets, panier moyen, quantités, marge, catégories, remises, retours. Mais elles ne suffisent pas toujours. Il faut les relier au CRM, customer relationship management, ensemble des outils et méthodes permettant de gérer la relation client à partir de données, de scénarios et de points de contact, pour distinguer nouveaux clients, clients actifs, dormants, VIP, porteurs de carte, clients e-commerce et clients omnicanaux. Une hausse de chiffre d’affaires peut masquer une cannibalisation des clients fidèles, tandis qu’une hausse modeste peut cacher un recrutement de meilleure qualité.
La mesure du trafic magasin peut venir de compteurs physiques, de données Wi-Fi agrégées, de capteurs, de tickets de caisse ou de données de localisation consenties et agrégées. Chaque source a ses biais. Les compteurs physiques peuvent compter des accompagnants ou des entrées non acheteuses. La donnée mobile peut sous-représenter certains profils et dépendre du consentement. Les tickets ne mesurent que les acheteurs. L’important n’est pas de trouver une mesure parfaite, mais d’être cohérent entre test et contrôle, et de documenter les limites. Un indicateur imparfait mais stable peut être utile ; un indicateur sophistiqué mais biaisé différemment selon les zones peut conduire à de mauvaises décisions.
La conformité terrain est un facteur souvent sous-estimé. Un magasin attribué au groupe test peut ne pas appliquer correctement l’intervention : PLV installée avec retard, équipe non formée, stock absent, horaires non mis à jour, coupon mal reconnu en caisse. À l’inverse, un magasin témoin peut adopter partiellement l’idée par effet de contagion. Ce risque de contamination est élevé dans les réseaux où les directeurs régionaux partagent rapidement les bonnes pratiques. Il faut donc suivre l’exécution avec des preuves : photos horodatées, checklists, logs de stock, confirmations d’horaires, audit mystère, extraction caisse des codes promotionnels. Sans mesure de compliance, un test négatif peut simplement révéler une mauvaise exécution.
Les variables externes doivent aussi être capturées. Météo, vacances scolaires, jours fériés, travaux, événements locaux, grèves de transport, ouverture ou fermeture concurrente, rupture de stock nationale, campagne TV, email national ou push app peuvent influencer les résultats. Même si le sujet est hors média, l’environnement marketing global ne disparaît pas. L’attribution, méthode qui assigne une conversion à un ou plusieurs points de contact marketing, doit ici être remplacée par une logique d’expérimentation causale, mais les autres points de contact doivent être contrôlés. Un test local lancé pendant une forte campagne nationale peut rester valide si test et contrôle sont exposés de manière comparable ; il devient fragile si la pression varie par zone.
Exemple concret : tester une offre locale sans achat média dans un réseau omnicanal
Imaginons une enseigne spécialisée dans le sport disposant de 160 magasins. Elle souhaite tester une offre locale hors média : un diagnostic gratuit de chaussures de running, associé à une mise en avant en magasin et à une relance CRM propriétaire auprès des clients ayant acheté des articles running dans les 24 derniers mois. Aucun achat média n’est prévu. L’objectif n’est pas uniquement de générer du trafic, mais d’augmenter la marge sur les chaussures techniques et de réactiver des clients dormants.
Le protocole retient 60 magasins éligibles, répartis en trois strates : urbain dense, périphérie commerciale et villes moyennes. Dans chaque strate, 10 magasins sont assignés au test et 10 au contrôle. La période pré-test couvre 10 semaines afin de vérifier les tendances parallèles sur ventes running, trafic, marge, clients actifs et dormants. Le test dure 4 semaines, avec une fenêtre post-test de 2 semaines pour capter les achats différés. Le KPI primaire est la marge incrémentale sur la catégorie running. Les KPI secondaires sont le nombre de diagnostics réalisés, les tickets running, le taux de réactivation des clients dormants, le panier moyen et le taux de réachat à 60 jours.
Les résultats bruts semblent encourageants. Les magasins test affichent une progression de 14 % du chiffre d’affaires running pendant la période, contre 7 % pour les témoins. La différence-en-différences estime donc un uplift de 7 points. Sur une base de 1,8 million d’euros de ventes running attendues dans les magasins test, cela représente environ 126 000 euros de chiffre d’affaires incrémental. La marge brute moyenne sur les produits vendus est de 41 %, soit 51 660 euros de marge brute incrémentale. Les coûts directs incluent 18 000 euros de formation, 9 000 euros de PLV, 6 000 euros de temps vendeur additionnel et 4 000 euros d’orchestration CRM, soit 37 000 euros. Le profit brut incrémental avant coûts fixes est donc positif, autour de 14 660 euros.
Mais l’analyse segmentée nuance la conclusion. Les magasins urbains progressent fortement en trafic, mais avec une marge inférieure, car les ventes se concentrent sur des produits remisés. Les magasins de périphérie génèrent moins de diagnostics, mais un panier moyen supérieur et davantage de ventes de semelles et accessoires. Les villes moyennes montrent un uplift faible, probablement lié à une faible disponibilité des spécialistes running en magasin. Côté CRM, les clients dormants réactivés représentent seulement 18 % des ventes incrémentales, mais leur taux de réachat à 60 jours est supérieur de 4 points au groupe témoin. La recommandation n’est donc pas un déploiement uniforme. L’enseigne peut généraliser l’opération en périphérie, adapter l’offre urbaine vers la marge, et renforcer la formation avant de retester les villes moyennes.
Lire les résultats avec prudence : cannibalisation, interférences et validité externe
Un AB test local n’est pas une machine à vérité absolue. Plusieurs limites doivent être intégrées dans l’interprétation. La première est la cannibalisation. Une offre locale peut déplacer des ventes d’un magasin voisin vers le magasin test, sans créer de valeur réseau. Elle peut aussi accélérer un achat qui aurait eu lieu deux semaines plus tard, ou transférer une vente e-commerce vers le magasin. Pour les enseignes omnicanales, l’analyse doit donc être faite à trois niveaux : magasin, zone et réseau. Un test positif au magasin peut être neutre au réseau si les zones de chalandise se recouvrent fortement.
La deuxième limite est l’interférence entre groupes. Dans un test idéal, le groupe témoin n’est pas influencé par le traitement. En géomarketing, cette condition est difficile à garantir. Les clients se déplacent, comparent, reçoivent des communications nationales, parlent entre eux, consultent le site ou l’application. Une offre locale visible en magasin peut être relayée sur les réseaux sociaux ou par les équipes. Plus les magasins sont proches, plus le risque d’interférence augmente. Pour le réduire, il faut parfois randomiser par zones géographiques plus larges, exclure les magasins voisins immédiats ou analyser les effets de débordement.
La troisième limite est la validité externe. Un test concluant dans 30 magasins ne garantit pas le même impact à l’échelle de 300. Les magasins sélectionnés peuvent être plus disciplinés, mieux stockés ou plus motivés. Le déploiement national peut diluer la qualité d’exécution. La rareté d’une offre peut aussi contribuer à son efficacité pendant le test ; une généralisation peut réduire son effet différenciant. C’est pourquoi les organisations avancées utilisent souvent une logique de scaling progressif : pilote contrôlé, réplication sur une deuxième vague, puis généralisation avec suivi continu.
Enfin, il faut éviter le biais de publication interne. Les équipes sont tentées de retenir les indicateurs favorables après coup : trafic si le trafic progresse, marge si la marge progresse, réactivation si le CRM progresse. Cette flexibilité analytique dégrade la confiance. La solution est de formaliser un pré-plan d’analyse avant lancement : hypothèse, KPI primaire, KPI secondaires, méthode statistique, exclusions, fenêtre de mesure, règles de traitement des ruptures de stock et seuils de décision. Cette discipline, courante dans les expérimentations scientifiques, devient essentielle pour les tests marketing locaux.
Conclusion : industrialiser l’expérimentation locale sans perdre le sens business
Les AB tests locaux hors média permettent de transformer le géomarketing en discipline d’arbitrage, et non en simple cartographie d’opportunités. Leur intérêt est de mesurer l’effet réel d’une initiative locale sur le trafic, les ventes, la marge, le recrutement ou la réactivation, en séparant autant que possible l’impact de l’action des tendances naturelles du territoire. Pour les professionnels du marketing, l’enjeu est clair : investir dans les décisions locales qui créent de la valeur additionnelle, arrêter celles qui déplacent seulement la demande, et adapter le déploiement selon les contextes géographiques.
Une feuille de route actionnable peut se structurer en neuf étapes. Premièrement, formuler une hypothèse précise : quel comportement local l’action doit-elle modifier ? Deuxièmement, définir l’unité expérimentale : client, magasin, zone, isochrone ou segment CRM. Troisièmement, choisir un KPI primaire aligné avec l’objectif économique, idéalement marge ou valeur incrémentale lorsque les données le permettent. Quatrièmement, construire un groupe témoin par randomisation stratifiée ou appariement robuste. Cinquièmement, vérifier les tendances parallèles avant le test. Sixièmement, calculer la puissance statistique et l’effet minimum détectable. Septièmement, instrumenter la donnée : caisse, CRM, trafic, stock, météo, concurrence et conformité terrain. Huitièmement, analyser les résultats en différence-en-différences, avec segmentation par typologie de zone. Neuvièmement, décider non pas seulement de déployer ou d’abandonner, mais de déployer où, comment et sous quelles conditions opérationnelles.
La maturité ne consiste pas à multiplier les tests pour produire des tableaux de bord. Elle consiste à créer une gouvernance où marketing, data, CRM, retail, finance et terrain partagent les mêmes règles de preuve. Un AB test local réussi doit être assez rigoureux pour convaincre une direction financière, assez opérationnel pour être exécuté par le réseau, et assez nuancé pour éviter les conclusions binaires. Hors média, l’impact géomarketing existe souvent dans les détails : la bonne zone, le bon stock, la bonne équipe, la bonne fenêtre de mesure et le bon témoin. C’est précisément pour cette raison qu’il mérite une méthode expérimentale complète.
