Bannerlarni A/B-sinovdan o’tkazish tizimini qanday qurish kerak

Bitta «muvaffaqiyatli» banner tizimni yaratmaydi. A/B test tizimi - bu konveyer: brif → variantlarni ishlab chiqarish → ko’rsatuvlarni nazorat qilish → to’g’ri metriklarni yig’ish → statistika → yechim → arxiv → masshtablash. Quyida - testlar takrorlanadigan va foydali bo’lishi uchun jarayonlar va artefaktlarning minimal to’plami.

1) Maqsad va metrika: nimani optimallashtiramiz

Pre-click va post-click metriklarini ko’paytiring, aks holda siz CTRni axlat trafigi bilan «aylantirasiz».

Pre-click:

Viewability (ko’rinadigan ko’rsatuvlar ulushi).
vCTR = kliplar/ko’rinadigan ko’rsatuvlar (kreativning asosiy metrikasi).
Frequency va Reach («charchoq» ni nazorat qilish uchun).
Placement-mix (maydonlar/formatlar).

Post-click:

Lending CTR (birinchi harakat), LPV/scroll, asosiy hodisa CVR.
Time to first action, rad etish, lida/buyurtma sifati.
Down-funnel (agar mavjud bo’lsa): depozit/sotib olish/takrorlash.

Cheklovlar/siyosatlar (YMYL/gambling, fintech va boshqalar):

Hech qanday «kafolatlangan natija» va’dalari yo’q, Responsible/Legal hurmati.
Neytral CTA («Shartlarni ko’rish», «Demolarni ochish»), disklemerlar kerak bo’lganda.

2) Eksperimentlar arxitekturasi: tizim nimadan iborat

1. Faraz reglamenti (shablon): muammo → g’oya → kutilayotgan ta’sir (MDE) → metrika → segmentlar → xavflar.

2. Fayl/kodlarni neyming va versionlash:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Trafikni yo’naltirish jadvali: pleysment → A/B guruhlari → namoyish ulushi → istisnolar.

4. Схема событий (tracking plan): impressions, viewable impressions, clicks, pageview, cta_click, form_start, form_error, submit, purchase.

5. Ombor va tayyorlash qatlami: xom loglar → normallashtirish (de-dup, anti-bot filtrlar) → vitrinalar.

6. Dashbordlar: pre-click, post-click, eksperiment bo’yicha integral hisobot.

7. Yechimlar arxivi: gipoteza → davr → namuna o’lchami → p-value/ishonch oralig’i → yechim → chiqish.

3) A/B dizayni: «sof» sabablik qoidalari

Bir vaqtning o’zida 1 ta omilni o’zgartiramiz (offer yoki vizual yoki CTA).

Koʻrsatish uchun emas, foydalanuvchi uchun randomizatsiyalash (cookie/uid), shunda bir kishi sessiyada ikkala variantni ham koʻrmaydi.

Stratifikatsiya (maydon/format/qurilma bo’yicha), agar ular vCTRga kuchli ta’sir ko’rsatsa.

Test = kunlar bo’yicha mavsumiylikni qoplash uchun to’liq haftalar.

MDE (minimal aniqlanadigan effekt) ni boshlashdan oldin aniqlang: masalan, vCTR + 8% ni ushlamoqchimiz.

To’xtash sharti: kerakli statistik quvvatga yetdi Va ≥ davomiyligi N kun. «Tomosha qilmaslik» va erta turmaslik.

4) Og’riqsiz statistika

Tanlash va davomiyligi: bazaviy vCTR/CR va MDE qanchalik past bo’lsa, traffik shunchalik ko’p bo’ladi va test shunchalik uzoq bo’ladi.

Yechim uchun metrika: kreativlarda - ko’pincha vCTR, lekin yakuniy yechim - agar post-bosish bo’lsa, CR/CPA ga ko’tarish.

Ishonchli oraliqlarni har doim hisobotda koʻrsating; 1-2 kunlik xulosalardan qoching.

Ko’p tenglamalar: agar> 2 variant bo’lsa, Bonferroni/FDR rejasidan foydalaning yoki juft test qiling.

Ketma-ket testlar/erta to’xtashlar: chegaralarni qo’llang (masalan, O’Brien-Fleming).

Bandits vs A/B: banditlar barqaror maqsadda g’olibning avtoekspluatatsiyasi uchun yaroqli; mahsulot xulosalari, kreativ tahlillar va arxivlar uchun - klassik A/B shaffofroq.

5) Trafikning sifatini nazorat qilish

Anti-bot filtrlar: shubhali yuqori tezlik, viewability’siz bosish, anormal user agent/IP.

Brend-xavfsizlik: maydon/kalit so’zlarni istisno qilish, salbiy pleylist.

Geo/qurilma: kattalashtirishni rejalashtirgan segmentlarda sinab ko’ring.

Frequency capping: koʻrsatish chastotasini cheklang (masalan, 3-5/kun), aks holda «charchoq» natijani buzadi.

6) Kreativlarni rotatsiya qilish va «charchash»

Charchoq chegarasi: vCTR barqaror viewability va qamrab olinganda 30-40% ga pasayishi - rotatsiya uchun signal.

Rotatsiya taqvimi: har hafta vCTR/placement trendlarini tekshiring; 6-12 variatsiyali pulni saqlang (offer matritsasi × vizual × CTA).

Natijaning dekompozitsiyasi: vaqt o’tishi bilan g’oliblarning «retseptlarini» to’plash uchun faktor belgilarini (offer, visual, cta, color, layout) saqlang.

7) End-to-end jarayoni (jamoa reglamenti)

1. Rejalashtirish (dushanba): gipotezalar qo’mitasi (marketing + dizayn + tahlilchi). Bir hafta davomida 2-4 ta gipotezani tanlaymiz.

2. Ishlab chiqarish (1-3 kun): barcha formatlar uchun dizayn paketlari, QA chek-listi (kontrast CTA, og’irlik, safe-zone, komplayens).

3. Ishga tushirish: 50/50 (yoki 33/33/33) trafikni tarqatish; segmentlarni tuzatish, loglarni yoqish.

4. Monitoring: kundalik sanity-tekshirish (qaror qabul qilmasdan): namoyishlar ulushi, viewability, bot-bayroqlar.

5. Tahlil (haftaning oxiri/quvvatga erishish bo’yicha): intervalli hisobot, mobayl/ish stolining kichik tanlovi, tushuntirishlar.

6. Yechim: g’olib - foydalanishga, yutqazgan - arxivga; insaytlar asosida quyidagi gipotezani shakllantiramiz.

7. Arxiv: tajriba kartasi + kreativ fayllar + hisobot soʻrovi + rezyume.

8) Ma’lumotlar va dashbordlar: nimani saqlash va qanday ko’rish kerak

Vitrinaning mini-modeli (kun/kreativ/segment bo’yicha):


date, campaign, geo, device, placement, format, creative_id, offer, visual, cta, variant,
impressions, viewable_impressions, clicks, vctr, lp_sessions, cta_clicks, form_start, submit, purchases, bounce_rate, avg_scroll, time_to_first_action

Dashbordlar:

Pre-click: viewability, vCTR, frequency, qamrov, pleysment xaritalari.
Post-click: Quvurning qadami boʻyicha CR, lida/SRA sifati.
Eksperimentlar: ishonchli oraliqlar, effektgacha bo’lgan vaqt, segmentlarning «shamol atirguli».

9) QA va ishga tushirish chek-varaqasi

Formatlar: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; mobayl 320 × 100/50, 1:1, 4:5, 16:9, 9:16
Og’irligi ≤ 150-200 KB (statik/HTML5), WebP/PNG, «og’ir» GIFsiz
Kontrast CTA (WCAG), xavfsiz zonalar (chetdan 24 px ≥)
Hech qanday klikbeyt/va’dalar, to’g’ri disklaymerlar
Трекинг: viewable, click, lpview, cta_click, form_start, submit
Foydalanuvchi bo’yicha randomizatsiya, A/B ko’rsatkichlarining aniq ulushi
Anti-bot filtrlari yoqilgan, istisno pleysmentlari sozlangan

10) Gipotezalar kutubxonasi: nimani sinash kerak

Offer:

«Shaffof bonus shartlari» vs «Barcha shartlar bir sahifada»
«Ro’yxatdan o’tmagan demo» vs «Interfeysni ko’rish»

CTA:

«Shartlarni ko’rish» vs «Tafsilotlarni o’rganish»
«Demoni ochish» vs «Hozir sinab koʻrish»

Vizual:

Sahna/qahramon vs interfeys skrini vs ikonografiya
Issiq fon vs neytral; kontur tugmasi vs toʻldirish

Kompozitsiya:

Logotip yuqoridan chapga vs ixcham; CTA oʻngdan vs pastdan
CTA ishonch belgisi vs sarlavhasi ostida

Mikro-harakat (HTML5):

Silliq fade-in UPS vs puls CTA aylanma (≤ 12 s, 2-3 faza)

11) Qarorlar qabul qilish qoidalari

Qiymat chegarasi: p ≤ 0. MDE koeffitsiyentida 05 va/yoki toʻliq ishonch oraligʻi> 0.

Sog’lom fikrning chegarasi: agar vCTR bo’yicha yutuq bo’lsa va CR/CPA bo’shab qolsa, biz uni chiqarib yubormaymiz.

Segment g’oliblari: agar farq faqat mobilda/GEOda muhim bo’lsa - targetga o’tkazamiz.

Axloq: manipulyativ matn/klikbeyt narxidagi yutuqlarni qabul qilmaymiz.

12) Anti-patternlar (bu tizimni buzadi)

Bitta testda ko’plab omillar mavjud emas.

«2 kun jadval bo’yicha» qarorlari.

Bir eksperimentda kanallarni (turli auditoriyalar) aralashtirish.

viewability yo’qligi → o’lik vCTR.

Tajriba arxivi yo’q → xatolarni takrorlash va «abadiy velosiped».

Ko’rsatuvlar chastotasi hisobga olinmaydi → «birinchi e’tibor» hisobiga soxta g’alabalar.

13) 30/60/90-joriy etish rejasi

0-30 kun - MVP tizimi

Gipotezalar namunasi, neyming, QA chek-varaqasi.

Hodisa sxemasi va dashbord pre/post-click.

1-2 ta tajriba: offer va asosiy formatdagi CTA (300 × 250/320 × 100).

viewability va anti-bot filtrlarini yoqish.

31-60 kun - chuqurlashtirish

Barcha formatlar va top-pleysmentlarga kengaytirish; HTML5 variantlarini qoʻshish.

Rotatsiyalar reglamenti va «charchoq» chegaralarini joriy etish.

Qurilma/maydon bo’yicha stratifikatsiya, g’oliblarning segmentli chiqishlari joriy etilsin.

61-90 kun - etuklik

Eksperimentlar arxivi va faktor bazasi (offer/visual/cta).

Brifning avto-so’rovnomasi + yarim standart maketlar (kreativlarning dizayn-tizimi).

Oylik hisobot: ROI testlar, g’oliblar%, CR/CPA hissasi.

Barqaror segmentlarda g’oliblarni avtoekspluatatsiya qilish uchun banditlar uchuvchisi.

14) Mini-shablonlar (kopipastga tayyor)

Gipoteza namunasi


Muammo: vCTR past mobilda GEO {X}
G’oya: sahnali vizualni + CTA «Demoni ochish» interfeysi skrinshotiga almashtirish
MDE: +8% к vCTR
Metriklar: vCTR (asosiy), CR (yordamchi), CPA (nazorat)
Segmentlar: mobayl, formatlar 320 × 100/1: 1
Xavflar: post-click tushishi; LP hodisani tekshirish

Yakunlar kartochkasi


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
Yechim: B gʻalaba qozondi. Chiqish: mobile GEO {X}, 100%
Izoh: Y/Z pleysmentlarida taʼsir kuchliroq

Bannerlarning A/B test tizimi «tugma rangi» emas, balki fanlar to’plami: to’g’ri metriklar (viewability → vCTR → post-click), sof randomizatsiya, qattiq QA, trafik sifatini nazorat qilish, rotatsiya reglamenti va shaffof echimlar. Gipotezalar konveyerini quring, arxiv va faktor bazasini yuriting - va ijodkorlik lotereya bo’lishni to’xtatadi: siz reklama samaradorligini barqaror oshirasiz va CPAni oldindan aytib bo’ladigan qadamlar bilan kamaytirasiz.