Cum se construiește un sistem de testare A/B

Un banner „norocos” nu face sistemul. Sistemul de testare A/B este o conductă: producția scurtă de opțiuni controlul impresiilor colectarea de măsurători corecte statistici soluție de scalare a de arhivă. Mai jos este setul minim de procese și artefacte pentru ca testele să fie reproductibile și profitabile.

1) Obiective și valori: ce optimizăm

Diluați măsurătorile pre-clic și post-clic - altfel veți „tweak” CTR la costul traficului nedorit.

Pre-clic:

Vizibilitate.
vCTR = clicuri/impresii vizibile (metrica principală pentru creativitate).
Frecvență și reacție (pentru a controla „oboseala”).
Plasament-mix (platforme/formate).

Post-clic:

Aterizare CTR (prima acțiune), LPV/scroll, eveniment cheie CVR.
Timp până la prima acțiune, eșec, calitate plumb/comandă.
Jos-pâlnie (dacă este disponibil): depozit/cumpărare/repeta.

Restricții/politici (YMYL/gambling, fintech etc.):

Nu există promisiuni de „rezultat garantat”, respect pentru responsabil/juridic.
CTA neutre („Termeni de vizualizare”, „Open Demo”), declinări acolo unde este necesar.

2) Arhitectura experimentală: în ce constă sistemul

1. Reguli de ipoteză (șablon): problema → ideea → efectul așteptat (MDE) → metrici → segmente → riscuri.

2. Denumirea și versionarea fișierelor/codurilor:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Tabel de rutare a traficului: plasarea → grupul A/B → cota de afișare → excludere.

4. (plan de urmărire): impresii, impresii vizibile, clicuri, vizualizare pagină, , , trimitere, cumpărare.

5. Strat de stocare și pregătire: busteni brute → normalizare (de-dup, filtre anti-bot) → vitrine.

6. Tablouri de bord: pre-click, post-click, raport integral pe experiment.

7. Arhiva deciziei: ipoteza perioada dimensiunea eșantionului p-valoare/interval de încredere de decizie.

3) Design A/B: reguli de cauzalitate „pure”

Schimbarea 1 factor la un moment dat (oferta sau vizual sau CTA).

Randomizarea de către utilizator, mai degrabă decât prin afișare (cookie/uid), astfel încât o persoană să nu vadă ambele opțiuni într-o sesiune.

Stratificarea (prin site/format/dispozitiv) în cazul în care acestea afectează puternic vCTR.

Test = săptămâni întregi pentru a acoperi sezonalitatea pe zi.

Fixați MDE (efect minim detectabil) înainte de a începe: de exemplu, vrem să captăm + 8% la vCTR.

Starea de oprire: a atins puterea statistică necesară ȘI durata ≥ zilele N. Nu „peep” și nu vă opriți mai devreme.

4) Statistici fără durere

Eșantionare și durată: Cu cât este mai mică valoarea inițială vCTR/CR și cu cât este mai mică MDE, cu atât traficul este mai mare și testul este mai lung.

Metric pentru soluție: în creative - mai des vCTR, dar soluția finală este de a ridica la CR/CPA, în cazul în care există un post-clic.

Arătați întotdeauna intervale de încredere în raport; evitați concluziile timp de 1-2 zile.

Multisequences: dacă> 2 opțiuni, utilizați planul Bonferroni/FDR sau testați în perechi.

Teste secvențiale/opriri timpurii: Aplicați limitele (de ex. O'Brien-Fleming) dacă instrumentul o poate face.

Bandiții vs A/B: bandiții sunt potriviți pentru exploatarea automată a câștigătorului cu o țintă stabilă; pentru informații despre produse, analiză creativă și arhive - clasicul A/B este mai transparent.

5) Controlul calității traficului

Filtre anti-bot: suspect de mare viteză, clicuri fără vizualizare, agent utilizator anormal/IP.

Siguranța mărcii: excluderi de site/cuvinte cheie, liste de redare negative.

Geo/Device: Testați în segmente în care intenționați să scalați.

Plafonarea frecvenței: limitați frecvența afișării de către utilizator (de exemplu, 3-5/zi), altfel „oboseala” va distorsiona rezultatul.

6) Rotația și „oboseala” creativilor

Pragul de oboseală: o scădere a vCTR cu 30-40% cu vizibilitate stabilă și acoperire - un semnal de rotație.

Calendar de rotație: verificați tendințele vCTR/plasare în fiecare săptămână; păstrați un bazin de 6-12 variante (matrice oferă × vizual × CTA).

Descompunerea rezultatelor: stochează semnele factorului (ofertă, vizuală, cta, culoare, aspect) pentru a colecta „rețetele” câștigătorilor în timp.

7) Procesul end-to-end

1. Planificarea (luni): Comitetul de ipoteză (Marketing + Design + Analyst). Selectăm 2-4 ipoteze timp de o săptămână.

2. Producția (1-3 zile): pachete de proiectare pentru toate formatele, lista de verificare QA (contrast CTA, greutate, zonă sigură, conformitate).

3. Start: distribuirea traficului 50/50 (sau 33/33/33); fixarea segmentelor, activarea jurnalelor.

4. Monitorizare: verificarea zilnică a stării de sănătate (fără a lua decizii): partajarea impresiilor, vizibilitatea, steagurile bot.

5. Analiza (sfârșitul săptămânii/la atingerea puterii): raport la intervale, subsampluri mobile/desktop, explicații.

6. Soluție: câștigător - la funcționare, ratat - la arhivă; formăm următoarea ipoteză bazată pe perspective.

7. Arhivă: card de experiment + fișiere creative + raport de interogare sql + CV.

8) Tablouri de date și tablouri de bord: ce să stocați și cum să urmăriți

Mini model de carcasă de afișare (după zi/creativ/segment):


data, campanie, geo, dispozitiv, plasare, format, creative_id, oferta, vizual, cta, varianta,
impresii, , clicuri, vctr, , , , trimite, achiziții, ,

Tablouri de bord:

Pre-clic: vizibilitate, vCTR, frecvență, reach, carduri de plasare.
Post-click: CR de pitch pâlnie, plumb/calitate CPA.
Experimente: scara de intervale de încredere, timp pentru a efectua, vânt trandafir de segmente.

9) QA și lista de verificare a lansării

Formate: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; mobil 320 × 100/50, 1:1, 4:5, 16:9, 9:16
Greutate ≤ 150-200 KB (static/HTML5), WebP/PNG, fără GIF-uri „grele”
Contrast CTA (WCAG), zone sigure (≥24 px de la margine)
Fără clickbait/promisiuni, declinări corecte
Трекинг: viewable, click, lpview, cta_click, form_start, trimite
Randomizarea de către utilizator, proporție clară de impresii A/B
Filtre anti-bot activate, excepții de plasare configurate

10) Ipoteza bibliotecă: Ce să testați

Ofertă:

„Termeni bonus transparenți” vs „Toți termenii pe o singură pagină”
„Demo fără înregistrare” vs „Vizualizați interfața”

CTA:

„Vizualizați termenii” vs „Aflați detalii”
„Open Demo” vs „Încercați acum”

Vizual:

Episodul/eroul vs interfaţa ecranului vs iconografie
Fundal cald vs neutru; contur buton vs umplere

Compoziţie:

Logo-ul de sus stânga vs compact; CTA dreapta vs jos
Insigna de încredere la CTA vs sub titlu

Micro-mișcare (HTML5):

Decolorare lină PTC vs puls accident vascular cerebral CTA (≤12 c, 2-3 faze)

11) Reguli de decizie

Prag de semnificație: p≤0. 05 și/sau întreg intervalul de încredere> 0 la punctul de reper MDE.

Limită de bun simț: dacă există un câștig vCTR, dar CR/CPA a scăzut, noi nu se rostogolească.

Câștigătorii segmentului: dacă diferența este semnificativă numai pe mobil/OUG - lansare țintă.

Etică: nu acceptăm câștiguri cu prețul textului manipulator/clickbait.

12) Anti-modele (care sparge sistemul)

Mulți factori dintr-un test nu → concluzii.

Decizii „în termen de 2 zile”.

Amestecarea canalelor (audiențe diferite) într-un singur experiment.

Lipsa de vizibilitate → mort vCTR.

Nu există nici o arhivă de experimente → repetarea erorilor și „bicicleta eternă”.

Frecvența impresiilor → victoriile false din cauza „primei atenții” nu este luată în considerare.

13) Planul de implementare 30/60/90

0-30 Zile - Sistem MVP

Ipoteza șablon, denumire, lista de verificare QA.

Diagrama evenimentelor și tabloul de bord pre/post-clic.

1-2 experimente: oferta și CTA într-un format cheie (300 × 250/320 × 100).

Activați vizibilitatea și filtrele anti-bot.

31-60 zile - aprofundare

Extindeți-vă la toate formatele și plasările de top; adăugați variante HTML5.

Implementarea regulamentelor de rotație și a pragurilor de „oboseală”.

Introduceți stratificarea prin dispozitiv/site, segmentul kickouts de câștigători.

61-90 zile - maturitate

Arhiva experimentelor si bazei factorilor (oferta/vizual/cta).

Brief auto-chestionar + machete semi-standard (sistem de design creativ).

Raport lunar: ROI de teste,% din câștigători, contribuția la CR/CPA.

Pilot de bandiți pentru auto-exploatarea câștigătorilor în segmente stabile.

14) Mini șabloane (gata pentru copy paste)

Șablon de ipoteză


Problemă: vCTR scăzut pe mobil în GEO {X}
Idee: înlocuiți vizualul cu scena cu interfața ecranului + CTA „Open demo”
MDE: + 8% к vCTR
Valori: vCTR (primar), CR (secundar), CPA (control)
Segmente: mobil, formate 320 × 100/1: 1
Riscuri: picătură post-clic; Verificarea evenimentului LP

Totaluri card


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
Decizia: B won. Rollout: GEO mobil {X}, 100%
Comentariu: Efectul este mai puternic asupra plasamentelor Y/Z

Sistemul de testare A/B nu este o „culoare de buton”, ci un set de discipline: măsurători corecte (vizibilitate → vCTR → post-click), randomizare pură, QA hard, controlul calității traficului, regulamente de rotație și soluții transparente. Construiți o conductă de ipoteze, mențineți o arhivă și o bază de factori - iar creativitatea va înceta să fie o loterie: veți crește în mod constant eficacitatea publicității și veți reduce CPA în pași previzibili.