A/B banner synag ulgamyny nädip gurmaly

Bir "üstünlikli" banner ulgamy döretmeýär. A/B synag ulgamy konweýer: brif → wariantlary öndürmek → görkezmelere gözegçilik etmek → dogry metrikleri ýygnamak → statistika → çözgüt → arhiw → masştab etmek. Aşakda - synaglaryň köpeldilip we girdejili bolmagy üçin prosesleriň we artefaktlaryň iň az toplumy.

1) Maksatlary we metrikleri: nämäni optimizirleýäris

Pre-click we post-click metriklerini köpeldiň, ýogsam zibil traffigi bilen CTR-ni "öwrüp" bilersiňiz.

Pre-click:

Viewability (görnüp duran görkezişleriň paýy).
vCTR = basmalar/görünýän görkezişler (döredijilik üçin esasy metrika).
Frequency we Reach ("ýadawlyga" gözegçilik etmek üçin).
Placement-mix (meýdançalar/formatlar).

Post-click:

CTR landing (ilkinji hereket), LPV/scroll, CVR esasy waka.
Wagt to first action, şowsuzlyk, lid/sargyt hili.
Down-funnel (bar bolsa): goýum/satyn almak/gaýtalamak.

Çäklendirmeler/syýasatlar (YMYL/gambling, fintech we ş.m.):

"Kepillendirilen netije" wadasy ýok, Responsible/Legal.
Bitarap CTA ("Şertlere seret", "Demolary aç"), zerur bolan ýerlerde disklemerler.

2) Synaglaryň arhitekturasy: ulgamyň düzümi

1. Çaklamalaryň tertibi (şablon): mesele → pikir → garaşylýan täsir (MDE) → metrika → segmentler → töwekgelçilikler.

2. Neýming we faýl/kod wersiýalary:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Traffigiň ugrukdyryş tablisasy: pleýsment → A/B topary → görkeziş paýy → kadadan çykmalar.

4. Схема событий (tracking plan): impressions, viewable impressions, clicks, pageview, cta_click, form_start, form_error, submit, purchase.

5. Ammar we taýýarlyk gatlagy: çig loglar → kadalaşma (de-dup, anti-bot süzgüçleri) → penjireler.

6. Daşbordlar: pre-click, post-click, synag boýunça integral hasabat.

7. Çözgütleriň arhiwi: gipoteza → döwür → nusganyň ululygy → p-value/ynam aralygy → çözgüt → çykarylýar.

3) A/B dizaýny: "arassa" sebäpleriň düzgünleri

Bir wagtyň özünde 1 faktory üýtgedýäris (offer ýa-da wizual ýa-da CTA).

Bir adamyň her sessiýada iki warianty hem görmezligi üçin (cookie/uid) däl-de, ulanyjy üçin randomizasiýa.

vCTR-e güýçli täsir edýän bolsa, stratifikasiýa (platforma/format/enjam boýunça).

Synag = gündelik möwsümliligi ýapmak üçin doly hepdeler.

Başlamazdan ozal MDE (iň az kesgitlenen täsir) ýazga alyň: mysal üçin, vCTR-e + 8% tutmak isleýäris.

Durmak şerti: zerur statistik kuwwata ýetdik We ≥ dowamlylygy N gün. "Göz aýlamaň" we ir durmaň.

4) Agyrysyz statistika

Mysal we dowamlylygy: esasy vCTR/CR we MDE näçe pes bolsa, şonça-da köp traffik we has uzyn synag.

Karar üçin metrika: döredijilikde - köplenç vCTR, ýöne soňky karar - post-basmak bar bolsa, CR/CPA-a çenli ýokarlandyrmak.

Ynamly aralyklary hasabatda hemişe görkeziň; 1-2 günüň netijelerinden gaça duruň.

Multisençler: eger> 2 wariant bar bolsa, Bonferrony/FDR meýilnamasyny ulanyň ýa-da jübüt synagdan geçiriň.

Yzygiderli synaglar/irki duralgalar: Eger gural muny başarsa, çäkleri (mysal üçin O'Brien-Fleming) ulanyň.

Bandits vs A/B: garakçylar durnukly maksat bilen ýeňijini awto-ulanmak üçin amatlydyr; önüm netijeleri, döredijilik analitikasy we arhiwleri üçin - nusgawy A/B has aç-açan.

5) Traffigiň hiline gözegçilik

Anti-bot süzgüçleri: şübheli ýokary tizlik, viewability, anomal user agent/IP.

Marka-howpsuzlyk: saýtlaryň/açar sözleriň kadadan çykmagy, negatiw pleýlist.

Geo/Enjam: ölçemegi meýilleşdirýän segmentleriňizde synagdan geçiriň.

Frequency capping: Ulanyjynyň görkeziş ýygylygyny çäklendiriň (mysal üçin 3-5/gün), ýogsam "ýadawlyk" netijäni ýoýýar.

6) Döredijileriň aýlanmagy we "ýadawlygy"

Ýadawlyk bosagasy: vCTR-iň durnukly görnüşe ukyplylygy we gurşawy 30-40% peselmegi - aýlanmagyň signaly.

Aýlanyş senenamasy: her hepde vCTR/placement tendensiýalaryny barlaň; 6-12 üýtgeşiklik howuzy saklaň (offer matrisa × wizual × CTA).

Netijäniň dekompozisiýasy: wagtyň geçmegi bilen ýeňijileriň "reseptlerini" ýygnamak üçin faktor alamatlaryny (offer, visual, cta, color, layout) saklaň.

7) End-to-end prosesi (toparyň düzgünleri)

1. Meýilleşdiriş (duşenbe): gipotezalar komiteti (marketing + dizaýn + analitik). Bir hepdelik 2-4 çaklamany saýlaýarys.

2. Önümçilik (1-3 gün): ähli formatlar üçin dizaýn paketleri, QA çek sanawy (CTA kontrast, agram, safe-zone, complayens).

3. Işe girizmek: 50/50 (ýa-da 33/33/33) traffigi paýlamak; segmentleri düzetmek, ýazgylary goşmak.

4. Gözegçilik: gündelik sanity-barlag (karar bermezden): görkezişleriň paýy, viewability, bot-baýdaklar.

5. Derňew (hepdäniň ahyry/kuwwata ýetmek boýunça): aralyklar bilen hasabat, mobaýl/desktop saýlamak, düşündirişler.

6. Çözgüt: ýeňiji - ulanmaga, ýeňilen - arhiwe; inçaýtlaryň esasynda indiki çaklamany emele getirýäris.

7. Arhiw: synag kartoçkasy + döredijilik faýllary + sql-hasabat soragy + rezýume.

8) Maglumatlar we daşbordlar: näme saklamak we nädip seretmek

Vitrinanyň kiçi modeli (gün/döredijilik/segment boýunça):


date, campaign, geo, device, placement, format, creative_id, offer, visual, cta, variant,
impressions, viewable_impressions, clicks, vctr, lp_sessions, cta_clicks, form_start, submit, purchases, bounce_rate, avg_scroll, time_to_first_action

Daşbordlar:

Pre-click: viewability, vCTR, frequency, örtük, pleýsment kartalary.
Post-click: Huniniň ädimleri boýunça CR, lid/SRA hili.
Synaglar: ynamly aralyk çyzygy, effekte çenli wagt, segmentleriň "ýel gülleri".

9) QA we başlangyç çek sanawy

Formatlar: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; mobil 320 × 100/50, 1:1, 4:5, 16:9, 9:16
Agramy ≤ 150-200 KB (statik/HTML5), WebP/PNG, "agyr" GIF-siz
Kontrast CTA (WCAG), howpsuz zolaklar (gyradan 24 px ≥)
Hiç hili düwme/wadalar, dogry diskleýerler
Трекинг: viewable, click, lpview, cta_click, form_start, submit
Ulanyjy boýunça randomizasiýa, A/B görkezişleriniň anyk paýy
Anti-bot süzgüçleri açylýar, pleýsment-kadadan çykmalar sazlanýar

10) Gipotezalar kitaphanasy: nämäni barlamaly

Offer:

"Aç-açan bonus şertleri" vs "Ähli şertler bir sahypada"
"Hasaba alynmadyk demo" vs "Interfeýsi görmek"

CTA:

"Şertleri görmek" vs "Jikme-jiklikleri bilmek"
"Demo aç" vs "Indi synap görüň"

Wizual:

Sahna/gahryman vs interfeýs ekrany vs ikonografiýa
Yssy fon vs bitarap; kontur düwmesi vs doldurmak

Kompozisiýa:

Logo ýokardan çepe vs ykjam; CTA sagdan vs aşakdan
Başlygyň aşagyndaky CTA vs ynam nyşany

Mikro hereket (HTML5):

Tekiz fade-in UTP vs impuls CTA aýlawlar (≤ 12 c, 2-3 faza)

11) Çözgütleri kabul etmegiň kadalary

Gymmatlyk çägi: p ≤ 0. 05 we/ýa-da doly ynam aralygy> 0 MDE ugrukdyrylanda.

Umumy düşünjäniň çäkleri: eger vCTR boýunça ýeňiş bar bolsa, CR/CPA bolsa, biz çykarmaýarys.

Segment ýeňijileri: eger tapawut diňe mobilde/GEO-da möhüm bolsa - nyşana çykarýarys.

Etika: manipulýatiw tekstiň/klikbeýtiň bahasy bilen ýeňişleri kabul etmeýäris.

12) Anti-pattern (ulgamy bozýar)

Bir synagda köp faktor → netije ýok.

"2 günüň dowamynda meýilnama boýunça" çözgütler.

Bir synagda kanallary (dürli tomaşaçylary) garyşdyrmak.

viewability → ölü vCTR ýoklugy.

Synag arhiwi ýok → ýalňyşlyklaryň gaýtalanmagy we "baky welosiped".

Görkezişleriň ýygylygy hasaba alynmaýar → "ilkinji üns" sebäpli galp ýeňişler.

13) 30/60/90-durmuşa geçirmek meýilnamasy

0-30 gün - MVP ulgamy

Gipotezalaryň şablony, neýming, çek sanawy QA.

Wakalar shemasy we dashboard pre/post-click.

1-2 synag: esasy formatda offer we CTA (300 × 250/320 × 100).

viewability we anti-bot süzgüçlerini açyň.

31-60 gün - çuňlaşmak

Ähli formatlara we top-pleýsmentlere giňeltmek; HTML5 wariantlaryny goşuň.

Aýlanyş düzgünini we "ýadawlyk" çäklerini girizmek.

Gurluş/meýdança boýunça stratifikasiýany, ýeňijileriň segmentleýin çykarylyşyny girizmek.

61-90 gün - kämillik

Synag arhiwi we faktor bazasy (offer/visual/cta).

Awto-anket brif + ýarym standart maketler (döredijilik dizaýn ulgamy).

Aýlyk hasabat: ROI synaglary, ýeňijileriň% -i, CR/CPA goşantlary.

Durnukly segmentlerde ýeňijileri awto-ulanmak üçin garakçylaryň piloty.

14) Kiçi şablonlar (kopipasta taýýar)

Çaklama şablony


Mesele: vCTR GEO {X} -da pes
Ideýa: sahnaly wizualy "Aç demo" interfeýs + CTA ekranyna çalyşmak
MDE: +8% к vCTR
Metrikler: vCTR (esasy), CR (kömekçi), CPA (gözegçilik)
Segmentler: mobil, formatlar 320 × 100/1: 1
Töwekgelçilikler: post-click; LP hadysasyny barlamak

Jemleýji kartoçka


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
Karar: B ýeňiş gazandy. Aýyrmak: mobile GEO {X}, 100%
Teswir: Y/Z pleýsmentlerinde täsir has güýçli

Bannerleriň A/B synag ulgamy "düwmäniň reňki" däl-de, dersleriň toplumy: dogry metrikler (viewability → vCTR → post-click), arassa randomizasiýa, berk QA, traffigiň hiline gözegçilik, rotasiýa düzgünleri we aç-açan çözgütler. Gipotezalary guruň, arhiw we faktor bazasyny saklaň we döredijilik lotereýa bolmagyny bes eder: mahabatyň netijeliligini yzygiderli ýokarlandyrarsyňyz we öňünden aýdyp boljak ädimler bilen CPA-ny peseldersiňiz.