Comment construire un système de test de bannière A/B

Une bannière « réussie » ne fait pas le système. Le système de test A/B est un pipeline : briff → production de variantes → contrôle des impressions → collecte de mesures correctes → statistiques → solution → archive → mise à l'échelle. Voici un ensemble minimum de processus et d'artefacts pour que les tests soient reproductibles et rentables.

1) Objectifs et métriques : ce que nous optimisons

Explorez les métriques pré-click et post-click - sinon vous « réduirez » le CTR au prix du trafic poubelle.

Pre-click:

Viewability (proportion d'impressions visibles).
vCTR = clics/projections visibles (métrique principale pour le créatif).
Frequency et Reach (pour contrôler la « fatigue »).
Placement-mix (sites/formats).

Post-click:

CTR landing (première action), LPV/scroll, CVR événement clé.
Time to first action, opt-out, qualité lead/order.
Down-funnel (si disponible) : dépôt/achat/répétition.

Restrictions/politiques (YMYL/gambling, fintech, etc.) :

Pas de promesses de « résultat garanti », respect de Responsible/Legal.
CTA neutre (« Regarder les conditions », « Ouvrir la démo »), disclaymers là où vous avez besoin.

2) L'architecture de l'expérimentation : en quoi consiste le système

1. Règlement sur les hypothèses (modèle) : problème → idée → effet attendu (EMI) → métriques → segments → risques.

2. Neuming et versionage des fichiers/codes :


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Table de routage du trafic : lecture → groupe A/B → part d'affichage → d'exclusion.

4. Схема событий (tracking plan): impressions, viewable impressions, clicks, pageview, cta_click, form_start, form_error, submit, purchase.

5. Stockage et couche de préparation : logs crus → normalisation (filtres de dup, filtres anti-bot) → vitrines.

6. Dashboards : pré-click, post-click, rapport intégral sur l'expérience.

7. Archives des décisions : l'hypothèse → la période → la taille de l'échantillon → l'intervalle de confiance/p-value → la décision est → abandonnée.

3) Conception A/B : règles de causalité « pure »

Nous changeons 1 facteur à la fois (offer ou visuel ou CTA).

Randomisation par utilisateur et non par affichage (cookie/uid) afin qu'une personne ne voit pas les deux options par session.

Stratification (par site/format/périphérique) si elles affectent fortement le vCTR.

Test = semaines complètes pour couvrir la saisonnalité par jour.

Fixez le MDE (effet détectable minimum) avant le démarrage : par exemple, nous voulons capturer + 8 % de vCTR.

Condition d'arrêt : ont atteint la puissance statistique désirée ET la durée de ≥ N jours. Ne pas « regarder » et ne pas arrêter tôt.

4) Statistiques sans douleur

Échantillonnage et durée : plus le vCTR/CR de base est bas et plus le MDE est petit, plus le trafic est important et plus le test est long.

Métrique pour la solution : dans les créatifs - plus souvent vCTR, mais la solution finale est d'élever à CR/CPA s'il y a un post-clic.

Affichez toujours les intervalles de confiance dans le rapport ; éviter de tirer des conclusions pour 1 ou 2 jours.

Multiplications : si> 2 options, utilisez le plan Bonferroni/FDR ou testez-le par deux.

Tests successifs/arrêts précoces : appliquez les limites (p. ex. O'Brien-Fleming) si l'outil le sait.

Bandits vs A/B : les bandits sont aptes à l'auto-exploitation du vainqueur dans un but stable ; pour les conclusions de produits, l'analyse créative et les archives - classique A/B plus transparent.

5) Contrôle de la qualité du trafic

Filtres anti-bot : vitesse suspecte élevée, clics sans visibilité, agent utilisateur/IP anormal.

Sécurité de marque : exclusions de sites/mots clés, liste de lecture négative.

Géo/appareil : testez dans les segments où vous prévoyez d'évoluer.

Capping de fréquence : limitez la fréquence d'affichage par utilisateur (par exemple, 3-5/jour), sinon la « fatigue » faussera le résultat.

6) Rotation et « fatigue » des créateurs

Seuil de fatigue : chute du vCTR de 30 à 40 % avec une visibilité et une couverture stables - signal de rotation.

Calendrier des rotations : vérifiez les tendances de vCTR/placement chaque semaine ; tenez un pool de 6 à 12 variations (matrice offer × visuel × CTA).

Décomposition du résultat : conservez les traits factoriels (offer, visual, cta, color, layout) afin de collecter les « recettes » gagnantes au fil du temps.

7) Processus de bout en bout (règlement de l'équipe)

1. Planification (lundi) : comité d'hypothèses (marketing + design + analyste). Nous sélectionnons 2-4 hypothèses pour la semaine.

2. Production (1-3 jours) : packs design sous tous les formats, chèque QA (contraste CTA, poids, zone de sécurité, conformité).

3. Lancement : distribution de trafic 50/50 (ou 33/33/33) ; fixation des segments, activation des logs.

4. Monitoring : Inspection quotidienne de sanity (sans prise de décision) : proportion d'impressions, visibilité, drapeaux de bot.

5. Analyse (fin de semaine/pour atteindre la puissance) : rapport à intervalles, sous-élections de mobile/de bureau, explications.

6. Solution : gagnant - en service, perdant - aux archives ; nous formons l'hypothèse suivante à partir des insights.

7. Archives : carte d'expérience + fichiers créatifs + requête sql du rapport + CV.

8) Données et dashboards : que stocker et comment regarder

Mini-modèle de vitrine (par jour/création/segment) :


date, campaign, geo, device, placement, format, creative_id, offer, visual, cta, variant,
impressions, viewable_impressions, clicks, vctr, lp_sessions, cta_clicks, form_start, submit, purchases, bounce_rate, avg_scroll, time_to_first_action

Dashboards :

Pre-click : viewability, vCTR, frequency, couverture, cartes de lecture.
Post-click : CR par pas d'entonnoir, qualité lead/SRA.
Expériences : intervalles de confiance, temps avant l'effet, « rose du vent » des segments.

9) QA et chèque de démarrage

Formats : 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250 ; mobile 320 × 100/50, 1:1, 4:5, 16:9, 9:16
Poids ≤ 150-200 KB (statique/HTML5), WebP/PNG, sans GIF « lourds »
Contraste CTA (WCAG), zones de sécurité (≥24 px du bord)
Pas de cliquetis/promesses, des disclayers corrects
Трекинг: viewable, click, lpview, cta_click, form_start, submit
Randomisation par utilisateur, proportion nette des projections A/B
Les filtres anti-bot sont activés, les exclusions de lecture sont configurées

10) Bibliothèque d'hypothèses : Quoi tester

Offer :

« Conditions de bonus transparentes » vs « Toutes les conditions sur la même page »
« Démo sans inscription » vs « Voir l'interface »

CTA:

« Voir les conditions » vs « Découvrez les détails »
« Ouvrir la démo » vs « Essayer maintenant »

Visuel :

Scène/héros vs scryn interface vs iconographie
Fond chaud vs neutre ; bouton de contour vs remplissage

Composition :

Logo haut-gauche vs compact ; CTA à droite vs en bas
Badge de confiance chez CTA vs sous le titre

Micro-mouvement (HTML5) :

Fade-in UTP vs pouls de contour CTA lisse (≤12 c, 2-3 phases)

11) Règles de décision

Seuil de signification : p≤0. 05 et/ou l'intervalle de confiance est entier> 0 à la référence MDE.

La limite du bon sens : s'il y a un gain de vCTR et que le CR/CPA s'est effondré, on ne peut pas le faire.

Gagnants du segment : Si la différence n'est significative que sur mobile/en GEO - nous tournons le ciblage.

Éthique : les gains au prix d'un texte manipulateur/clic ne sont pas acceptés.

12) Anti-modèles (ce qui brise le système)

Beaucoup de facteurs dans un test → aucune conclusion.

Décisions « selon l'horaire en 2 jours ».

Mélange de chaînes (différents publics) dans une même expérience.

Absence de visibilité → mort vCTR.

Il n'y a pas d'archives d'expériences → de répétition d'erreurs et de « vélo éternel ».

Il n'est pas tenu compte de la fréquence des projections → des fausses victoires au détriment de la « première attention ».

13) Plan de mise en œuvre 30/60/90

0-30 jours - Système MVP

Modèle d'hypothèse, neuming, chèque QA.

Schéma des événements et dashboard pre/post-click.

1-2 expériences : offer et CTA sur format clé (300 × 250/320 × 100).

Activer les filtres viewability et anti-bot.

31-60 jours - approfondissement

Étendre à tous les formats et haut de gamme ; ajouter des variantes HTML5.

Mettre en place des règles de rotation et des seuils de fatigue.

Entrez la stratification par périphérique/site, le segment des gagnants.

61-90 jours - maturité

Archive expérimentale et base de données factorielle (offer/visual/cta).

Sondage automatique du briff + maquettes semi-standard (système de conception créative).

Rapport mensuel : ROI des tests, % des gagnants, contribution au CR/CPA.

Pilote de bandits pour l'exploitation automatique des gagnants dans les segments stables.

14) Mini-modèles (prêt pour copipast)

Modèle d'hypothèse


Problème : vCTR faible sur mobile en GEO {X}
Idée : Remplacer le visuel avec la scène par le ruban de l'interface + CTA « Ouvrir la démo »
MDE: +8% к vCTR
Métriques : vCTR (principal), CR (auxiliaire), CPA (contrôle)
Segments : Mobile, formats 320 × 100/1 : 1
Risques : chute post-click ; Vérification LP de l'événement

Carte de résultats


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
Solution : B a gagné. Éteint : Mobile GEO {X}, 100 %
Commentaire : l'effet est plus fort sur les playsets Y/Z

Le système de test A/B des bannières n'est pas une « couleur de bouton », mais un ensemble de disciplines : mesures correctes (viewability → vCTR → post-click), randomisation pure, QA rigide, contrôle de la qualité du trafic, règles de rotation et solutions transparentes. Construisez une chaîne d'hypothèses, conservez une archive et une base de facteurs - et la créativité cessera d'être une loterie : vous améliorerez constamment l'efficacité de la publicité et réduirez les CPA en étapes prévisibles.