A/B testing SMS : isoler l’effet offre, timing et audience
Tester un SMS ne consiste pas à choisir le meilleur wording, mais à mesurer une décision incrémentale
Le SMS reste l’un des canaux les plus puissants de l’activation locale : lecture rapide, couverture élevée, dépendance limitée aux algorithmes de plateformes, capacité à déclencher une action courte vers un point de vente, une landing mobile ou un coupon. Mais cette puissance rend l’A/B testing plus exigeant. Un écart de performance apparent entre deux messages peut venir de l’offre, du timing, de la qualité de l’audience, de la pression commerciale antérieure, de la météo, du stock local ou de la propension naturelle à acheter. Sans protocole rigoureux, le test ne mesure pas l’effet du SMS ; il mesure souvent la composition des groupes.
Pour les annonceurs retail, locaux et omnicanaux, l’enjeu n’est donc pas de savoir si la variante A obtient 5,8 % de clics contre 4,9 % pour la variante B. La vraie question est plus économique : quelle variation augmente réellement la visite, l’achat ou la marge, à coût relationnel acceptable ? Le CPA, cost per acquisition, c’est-à-dire le coût nécessaire pour générer une conversion attribuée, peut baisser artificiellement si l’on cible surtout des clients déjà intentionnistes. Le ROAS, return on ad spend, ratio entre chiffre d’affaires attribué ou incrémental et dépenses marketing, peut être flatteur si l’on réactive des acheteurs qui seraient venus sans sollicitation. L’A/B testing SMS doit donc être conçu comme un dispositif de causalité, pas comme un simple classement de taux de clic.
La difficulté vient du fait que le SMS intervient souvent en bas de funnel, parcours allant de l’exposition à la considération, puis à la conversion et à la fidélisation. Il est fréquemment le dernier contact avant l’action. L’attribution, méthode qui assigne une conversion à un ou plusieurs points de contact marketing, tend alors à lui donner un rôle excessif, surtout dans des modèles last click ou last touch. Un SMS envoyé à 17 h à des clients qui ont consulté un produit à 15 h, reçu un email la veille et recherché le magasin sur mobile le matin aura probablement de bonnes performances. Mais isoler ce qui vient du SMS, du moment, de l’offre ou de l’intention préalable exige une architecture de test explicite.
Trois variables concentrent la majorité des arbitrages : l’offre, le timing et l’audience. L’offre répond à la question de la valeur perçue : remise, avantage fidélité, service, disponibilité, exclusivité, urgence. Le timing répond à la question de la fenêtre d’action : jour, heure, proximité avec la paie, météo, ouverture magasin, durée avant expiration. L’audience répond à la question de la propension : clients actifs, dormants, prospects opt-in, segments RFM, intentionnistes web, porteurs de carte, utilisateurs app. Tester correctement consiste à isoler ces effets, puis à comprendre leurs interactions. Une offre forte peut ne fonctionner que sur des dormants. Un horaire performant peut dépendre de la distance au magasin. Une audience à forte valeur peut générer moins de clics mais davantage de marge.
Formuler une hypothèse testable : une bonne expérience commence avant l’envoi
Un A/B test SMS utile commence par une hypothèse opérationnelle, pas par deux variantes créatives. Une hypothèse faible ressemble à : « tester deux accroches pour voir laquelle marche le mieux ». Une hypothèse exploitable est plus précise : « chez les clients dormants depuis 6 à 18 mois, un avantage immédiat en euros génère plus de visites incrémentales qu’un pourcentage de remise, car il réduit l’effort de calcul et augmente la perception de gain certain ». Cette formulation indique la population, le mécanisme attendu, la métrique de succès et la décision possible.
Le choix de la métrique est déterminant. Le taux de clic est souvent utile pour vérifier l’attractivité d’un message ou la compréhension de l’appel à l’action, mais il ne suffit pas pour piloter un réseau physique. Un SMS peut générer beaucoup de clics vers une page offre sans augmenter les visites magasin. À l’inverse, un message très direct, intégrant une adresse ou une offre en caisse, peut produire moins de clics mais plus de passages. Pour le Drive-to-Store, stratégie visant à transformer une activation digitale en trafic qualifié vers un point de vente, les métriques doivent être hiérarchisées : délivrabilité, taux de clic, consultation de page magasin, demande d’itinéraire, coupon sauvegardé, visite observée, achat caisse, marge, réachat et opt-out.
Une bonne pratique consiste à définir une métrique primaire et des métriques de garde-fou. Par exemple, l’objectif primaire peut être la marge incrémentale par contact envoyé. Les garde-fous peuvent inclure un taux d’opt-out inférieur à 0,25 %, un taux d’abandon sur landing inférieur à 60 %, un taux de rupture de stock post-campagne maîtrisé ou une absence de baisse du panier moyen. Cette approche évite de choisir une variante qui maximise le clic au détriment de la rentabilité ou de l’expérience magasin.
Le protocole doit aussi préciser l’unité de randomisation. Tester au niveau du contact est pertinent si l’on veut comparer deux offres sur une base CRM homogène. Tester au niveau du magasin peut être préférable si le risque de contamination locale est élevé : affichage en point de vente, bouche-à-oreille, stocks différents, animations commerciales. Tester au niveau géographique est utile lorsque l’on combine SMS, média local, social ads ou publicité programmatique. Une DSP, demand-side platform, plateforme permettant aux annonceurs d’acheter automatiquement des impressions publicitaires sur différents inventaires, peut par exemple soutenir certaines zones en RTB, real-time bidding, mécanisme d’enchères en temps réel pour acheter une impression disponible. Dans ce cas, attribuer toute la différence au SMS serait méthodologiquement fragile si les zones n’ont pas été équilibrées.
Enfin, le test doit être relié à une décision. Si la différence attendue est trop faible pour modifier un plan média, une stratégie CRM ou une politique promotionnelle, le test risque de devenir un exercice de reporting. L’A/B testing SMS doit répondre à des choix concrets : faut-il privilégier la remise en valeur absolue ou en pourcentage ? Envoyer à 10 h ou à 17 h ? Réserver le SMS aux intentionnistes ou l’ouvrir aux dormants ? Utiliser une urgence courte ou une validité longue ? Sans décision associée, même un résultat statistiquement significatif peut rester inutilisable.
Isoler l’effet offre : comparer la valeur perçue sans confondre générosité et performance
L’offre est souvent la variable la plus visible, mais aussi la plus trompeuse. Comparer « -20 % » à « -10 % » n’est pas un test d’argument ; c’est d’abord un test de générosité économique. Une variante plus généreuse peut produire plus de ventes tout en dégradant la marge. Pour isoler l’effet offre, il faut distinguer la mécanique promotionnelle, le coût de l’avantage, la clarté du bénéfice et la contrainte d’usage.
Quatre familles d’offres peuvent être testées. La première est la remise monétaire : « 10 euros offerts dès 50 euros d’achat ». Elle est simple, concrète et souvent efficace en SMS, car elle réduit l’effort cognitif. La deuxième est le pourcentage : « -20 % sur la sélection ». Il peut être plus attractif sur des paniers élevés, mais moins lisible sur mobile. La troisième est l’avantage de service : retrait prioritaire, diagnostic gratuit, réservation, essayage, rendez-vous, livraison offerte. Elle peut générer moins de volume mais plus de valeur relationnelle. La quatrième est l’exclusivité : accès membre, avant-première locale, stock réservé, invitation magasin. Elle fonctionne surtout lorsque la marque dispose d’une relation CRM forte.
Pour comparer ces offres proprement, il faut calculer un résultat net. Supposons une enseigne d’équipement maison qui teste deux SMS sur 200 000 clients actifs, répartis aléatoirement en deux groupes de 100 000. Variante A : « 15 euros offerts dès 75 euros ». Variante B : « -20 % sur la sélection rangement ». La variante A génère 4 800 achats, panier moyen 82 euros, marge brute après remise 28 %. La variante B génère 5 600 achats, panier moyen 76 euros, marge brute après remise 21 %. En chiffre d’affaires, B paraît supérieure : 425 600 euros contre 393 600 euros. En marge brute, A produit environ 110 200 euros contre 89 400 euros pour B. Si le coût SMS est identique, la décision change : le meilleur volume n’est pas la meilleure contribution.
La mesure doit intégrer un groupe holdout, c’est-à-dire un groupe comparable non exposé, lorsque l’objectif est d’estimer l’incrémentalité. Si le groupe non sollicité génère naturellement 3 900 achats sur la période, l’uplift réel de A n’est pas 4 800 achats mais 900 achats additionnels, et celui de B n’est pas 5 600 mais 1 700. À ce stade, B peut redevenir intéressante si la marge additionnelle compense la remise. L’arbitrage ne peut être tranché qu’en marge incrémentale, pas en marge totale attribuée.
Il faut aussi tester la formulation sans modifier la valeur économique. Par exemple, « 10 euros offerts dès 50 euros » versus « votre bon de 10 euros vous attend en magasin » compare davantage le framing, ou cadrage psychologique, que la générosité. De même, « valable aujourd’hui » versus « valable jusqu’à dimanche » teste l’urgence perçue, mais modifie aussi la fenêtre d’action. La meilleure pratique consiste à ne changer qu’une dimension à la fois dans un test A/B simple, ou à passer à un plan factoriel si plusieurs dimensions doivent être combinées.
Isoler l’effet timing : l’heure d’envoi influence la disponibilité mentale, pas seulement l’ouverture
Le timing SMS ne se réduit pas à l’heure qui maximise le taux de clic. Un message envoyé à 8 h peut être lu rapidement mais oublié avant la visite. Un message envoyé à 18 h peut déclencher un passage immédiat mais laisser trop peu de temps avant la fermeture. Un envoi le vendredi peut préparer le week-end, tandis qu’un envoi le samedi matin peut capter une intention déjà formée. Le timing agit sur trois dimensions : disponibilité mentale, faisabilité du déplacement et distance temporelle avec l’offre.
Pour un réseau physique, le bon timing dépend fortement du secteur. En alimentaire urbain, les créneaux 11 h-12 h et 16 h-18 h peuvent être performants selon les usages repas ou sortie de bureau. En bricolage, le samedi matin peut surperformer car il précède l’exécution du projet. En optique ou automobile, les créneaux de prise de rendez-vous peuvent mieux fonctionner en milieu de journée ou début de soirée, lorsque le client peut planifier. En beauté ou restauration, la météo, les temps forts locaux et la disponibilité des créneaux peuvent dominer l’heure d’envoi.
Un test de timing doit contrôler les autres variables. Envoyer la variante A le mardi à 10 h et la variante B le vendredi à 17 h avec la même offre ne mesure pas seulement le timing ; il mesure aussi l’état d’intention hebdomadaire, la proximité du week-end, la concurrence promotionnelle et parfois la paie. Il faut donc randomiser l’audience à l’intérieur de chaque fenêtre, ou répéter le test sur plusieurs semaines. Une méthode robuste consiste à créer des cellules : groupe 1 mardi 10 h, groupe 2 mardi 17 h, groupe 3 samedi 10 h, groupe 4 samedi 17 h, avec la même offre, la même audience et les mêmes magasins éligibles. Les effets doivent ensuite être lus par segment et non uniquement en moyenne.
L’analyse de latence est particulièrement utile. Elle mesure le délai entre l’envoi et l’action : clic, consultation de page magasin, demande d’itinéraire, visite ou achat. Si 70 % des visites incrémentales surviennent dans les six heures suivant le SMS, une offre valable trois jours est peut-être trop large et dilue l’urgence. Si les visites se répartissent sur 48 heures, un message trop pressant peut sous-exploiter la considération. Pour les campagnes locales, la fenêtre d’attribution doit être alignée sur le cycle réel. Un fast-food peut travailler sur quelques heures. Un magasin de meubles ou un centre auto peut nécessiter plusieurs jours.
Le timing doit aussi intégrer la capacité magasin. Un SMS qui augmente fortement le trafic sur un créneau saturé peut produire une mauvaise expérience, une baisse du taux de conversion ou des coûts opérationnels. Dans une logique avancée, le test ne compare pas seulement deux heures d’envoi ; il compare deux scénarios de rendement global. Par exemple, envoyer à 10 h peut générer 15 % de visites en moins qu’à 16 h, mais déplacer le trafic vers une période moins chargée, augmenter le temps de conseil et améliorer la marge par panier. L’indicateur gagnant n’est pas toujours le volume brut.
Isoler l’effet audience : randomisation, stratification et propension évitent les faux gagnants
L’audience est la source la plus fréquente de biais dans l’A/B testing SMS. Si une variante est envoyée à des clients actifs et l’autre à des dormants, le résultat est connu d’avance. Mais des biais plus subtils existent : un groupe peut contenir davantage de clients proches d’un magasin, de porteurs de carte fidélité, d’acheteurs récents, d’utilisateurs app, de profils à panier élevé ou de contacts ayant déjà reçu une pression marketing différente. La randomisation aléatoire simple réduit ces biais lorsque les volumes sont importants, mais elle ne garantit pas l’équilibre sur les variables critiques.
La stratification consiste à randomiser à l’intérieur de segments homogènes. Pour un test SMS retail, les strates minimales peuvent inclure le magasin de rattachement, la distance ou le temps de trajet, la récence d’achat, la fréquence, la valeur client, le statut opt-in, l’historique de réaction SMS et la catégorie d’intérêt. La segmentation RFM, récence, fréquence, montant, méthode qui classe les clients selon la date du dernier achat, la fréquence d’achat et la valeur dépensée, reste un socle utile. Elle peut être complétée par des signaux d’intention : consultation web mobile, ajout panier, clic email, recherche de stock, ouverture app, coupon sauvegardé.
Un exemple illustre le risque. Une enseigne mode teste un SMS sur deux audiences : clients actifs récents et clients dormants depuis plus de neuf mois. Le taux de conversion des actifs atteint 7,2 %, celui des dormants 2,1 %. Conclure que les dormants ne méritent pas de SMS serait trop rapide. Le groupe actif aurait peut-être converti à 6,5 % sans message, soit un uplift de 0,7 point. Le groupe dormant aurait peut-être converti à 0,8 % sans message, soit un uplift de 1,3 point. En incrémentalité relative, les dormants peuvent être plus sensibles au SMS, même si leur niveau absolu reste inférieur. La décision dépend ensuite du coût, de la marge, du risque d’opt-out et de la valeur de réactivation.
Les scores de propension peuvent enrichir le protocole, mais ils doivent être utilisés avec prudence. Un score de probabilité d’achat prédit quels contacts sont susceptibles de convertir. Si l’on cible uniquement les plus hauts scores, le CPA attribué baisse souvent, mais l’incrémentalité peut diminuer car ces clients auraient acheté de toute façon. Les scores sont utiles pour créer des blocs comparables : faible, moyen, fort potentiel. Le test peut alors mesurer si le SMS produit davantage d’uplift sur les intentionnistes ou sur les segments intermédiaires. Souvent, la meilleure zone économique n’est pas le haut du score mais le milieu : suffisamment de propension pour agir, suffisamment d’incertitude pour être influençable.
Il faut enfin gérer les effets de pression et d’exclusion. Un contact ayant reçu trois SMS en dix jours n’a pas la même réceptivité qu’un contact non sollicité depuis un mois. Le capping, limitation de la fréquence de sollicitation sur une période donnée, doit être intégré au plan d’expérience. Les contacts récemment acheteurs doivent parfois être exclus ou analysés séparément pour éviter la cannibalisation. Les opt-out, désabonnements, plaintes, baisses d’ouverture et désinstallations app doivent être considérés comme des coûts relationnels, pas comme de simples métriques secondaires.
Passer du A/B simple au plan factoriel : mesurer les interactions entre offre, timing et audience
Un A/B test classique est adapté lorsqu’une seule variable change. Mais les campagnes SMS réelles combinent souvent plusieurs dimensions. Une offre forte peut fonctionner le samedi matin mais pas le mardi soir. Une urgence courte peut être efficace sur des clients proches d’un magasin, mais frustrante sur des clients éloignés. Une audience dormante peut préférer une remise explicite, tandis qu’une audience fidèle réagit mieux à une exclusivité. Dans ces cas, le plan factoriel devient plus pertinent.
Un plan factoriel consiste à tester plusieurs facteurs simultanément, en combinant leurs modalités. Par exemple : deux offres, deux horaires, deux audiences. Cela produit huit cellules : offre A ou B, matin ou soir, actifs ou dormants. L’intérêt est de mesurer non seulement les effets principaux, mais aussi les interactions. Si l’offre A gagne en moyenne, mais uniquement sur les actifs, alors que l’offre B gagne fortement sur les dormants, la moyenne masque une décision de segmentation. Le test ne doit pas chercher un gagnant unique ; il doit produire une règle d’orchestration.
Le principal coût du plan factoriel est la taille d’échantillon. Plus le nombre de cellules augmente, plus chaque cellule reçoit peu de contacts, et plus le test devient incapable de détecter un effet fiable. Le MDE, minimum detectable effect, ou effet minimum détectable, indique la plus petite différence que le test peut identifier avec une puissance statistique suffisante. Si une base compte 80 000 contacts et que l’on crée huit cellules de 10 000, détecter un écart de conversion de 0,2 point peut être impossible. Le risque est de conclure à l’absence d’effet alors que le test manque simplement de puissance.
Pour dimensionner un test, il faut connaître le taux de conversion de base, l’effet attendu, le niveau de confiance souhaité et le coût d’opportunité. Sur des conversions rares, par exemple une visite magasin mesurée à 1,5 %, les volumes nécessaires peuvent être élevés. Dans ce cas, il peut être préférable de tester d’abord une métrique intermédiaire corrélée à la valeur, comme la demande d’itinéraire ou le coupon sauvegardé, puis de valider les meilleures hypothèses sur la vente ou la marge avec un test plus large. Cette approche en deux temps réduit les coûts, mais elle suppose de vérifier que l’indicateur intermédiaire prédit réellement la performance business.
Les approches bandit, ou allocation adaptative, peuvent également être envisagées. Elles réallouent progressivement le trafic vers les variantes les plus prometteuses. Elles sont efficaces pour maximiser la performance pendant le test, mais moins propres pour mesurer l’effet causal si l’algorithme modifie l’exposition en cours de route. Pour des décisions stratégiques, un A/B test randomisé avec holdout reste souvent plus lisible. Pour de l’optimisation continue de wording ou de landing, les bandits peuvent être utiles, à condition de documenter leurs biais.
Relier le test SMS au magasin : attribution, caisse et incrémentalité doivent fermer la boucle
Un test SMS ne devient vraiment actionnable que lorsqu’il relie l’exposition à une valeur business. Le clic est facile à mesurer via URL trackée, paramètres UTM ou redirection courte. La visite magasin est plus complexe : elle peut être estimée par données de localisation consenties, demande d’itinéraire, coupon scanné, réservation, check-in, Wi-Fi, carte fidélité ou rapprochement caisse. Chaque méthode a ses biais. Les coupons sous-estiment les clients qui achètent sans présenter l’offre. La localisation peut générer des faux positifs en zones denses. La carte fidélité ne couvre pas tous les achats. Il faut donc raisonner par faisceau d’indices et par niveaux de confiance.
La meilleure architecture combine trois couches. Première couche : mesure de l’exposition et de l’engagement, avec délivrabilité, clics, erreurs, désabonnements et landing analytics. Deuxième couche : signaux d’intention locale, comme page magasin consultée, stock vérifié, itinéraire demandé, coupon sauvegardé ou rendez-vous pris. Troisième couche : données transactionnelles, via caisse, CRM, fidélité, coupon, ticket dématérialisé ou réservation honorée. Plus le test remonte vers la marge, plus la couverture diminue souvent, mais plus la décision est robuste.
Un cas concret permet de structurer le raisonnement. Une enseigne beauté teste trois variables sur 300 000 contacts opt-in : offre en euros ou échantillon offert, envoi vendredi 11 h ou samedi 9 h, clientes actives ou dormantes. Un holdout de 10 % est conservé dans chaque strate. Le taux de clic moyen le plus élevé revient à l’échantillon offert le samedi matin, avec 7,1 %. Pourtant, la meilleure marge incrémentale apparaît sur l’offre en euros envoyée vendredi à 11 h aux dormantes récentes : moins de clics, 4,8 %, mais davantage de paniers complets et un taux de réachat à 30 jours supérieur. Le test montre que l’échantillon attire de la curiosité et des visites opportunistes, tandis que l’avantage monétaire réactive des paniers plus profitables.
Le reporting doit présenter les résultats en cascade. Pour chaque cellule : contacts envoyés, délivrés, clics, visites ou intentions locales, achats rattachés, chiffre d’affaires, marge, uplift versus holdout, coût SMS, opt-out et marge nette. Cette lecture évite les arbitrages erronés. Une variante peut gagner au clic, perdre à la visite, regagner au panier ou détruire la marge par remise excessive. L’objectif n’est pas de trouver la variante la plus séduisante ; il est d’identifier la règle qui maximise la contribution nette.
La durée d’observation doit être cohérente avec l’objectif. Pour une offre valable 24 heures, mesurer à J+1 peut suffire pour l’action immédiate, mais pas pour le réachat. Pour une campagne de réactivation, une fenêtre de 30 ou 60 jours peut être nécessaire pour évaluer la LTV, lifetime value, valeur économique attendue d’un client sur la durée de relation. Un SMS peut être rentable non par le premier achat, mais par la réintégration d’un client dans un cycle CRM. À l’inverse, un SMS très promotionnel peut produire un bon premier panier et réduire la valeur future si le client attend systématiquement une remise.
Conclusion : industrialiser l’apprentissage sans épuiser la base opt-in
L’A/B testing SMS performant repose sur une discipline simple à formuler mais exigeante à exécuter : isoler une hypothèse, randomiser proprement, mesurer au bon niveau économique et intégrer les coûts relationnels. Offre, timing et audience ne doivent pas être testés comme des variables indépendantes de toute réalité opérationnelle. Ils interagissent avec la disponibilité magasin, le niveau d’intention, la pression CRM, la distance, la saisonnalité et la marge.
Une feuille de route actionnable peut se structurer en huit étapes. Premièrement, définir la décision que le test doit éclairer : mécanique d’offre, heure d’envoi, segment prioritaire ou règle d’orchestration. Deuxièmement, choisir une métrique primaire alignée sur la valeur, idéalement marge incrémentale ou achat incrémental, et non seulement clic. Troisièmement, créer un holdout stratifié pour mesurer ce qui se serait produit sans SMS. Quatrièmement, randomiser à l’intérieur des segments critiques : magasin, distance, RFM, intention, valeur client et historique de pression. Cinquièmement, ne modifier qu’une variable par test simple, ou utiliser un plan factoriel dimensionné si l’on veut mesurer les interactions. Sixièmement, intégrer les garde-fous : opt-out, saturation magasin, stock, panier moyen, marge et réachat. Septièmement, relier le SMS aux signaux locaux et à la caisse pour dépasser le reporting de clic. Huitièmement, documenter les apprentissages dans une bibliothèque de règles par segment, catégorie, créneau et type d’offre.
Le piège principal consiste à confondre vitesse d’exécution et rigueur de mesure. Le SMS permet d’activer vite, mais un test mal conçu peut déplacer des budgets vers les clients les plus faciles à convertir, augmenter la pression sur la base opt-in et surestimer la contribution du dernier contact. À l’inverse, un protocole bien construit révèle souvent des enseignements moins spectaculaires mais plus rentables : une offre moins généreuse qui protège la marge, un créneau moins cliqué qui améliore la visite utile, une audience intermédiaire qui répond mieux que les très intentionnistes, ou un SMS qui doit être réservé aux moments où il apporte une vraie valeur de service.
Pour les annonceurs omnicanaux, l’objectif n’est pas de multiplier les A/B tests isolés. Il est de construire un système d’apprentissage continu, capable de transformer chaque campagne SMS en connaissance exploitable. À cette condition, le canal cesse d’être seulement un levier tactique de relance. Il devient un instrument de pilotage local, capable d’arbitrer entre volume, marge, incrémentalité et qualité relationnelle.
