Banner A/B test sistemi necə qurulur

Bir «uğurlu» banner sistemi etmir. A/B test sistemi konveyerdir: brif → istehsal variantları → nəzarət göstəriciləri → düzgün metrik toplama → statistika → həll → arxiv → miqyas. Aşağıda - testlərin təkrar və gəlirli olması üçün minimum proses və artefaktlar dəsti.

1) Məqsədlər və metriklər: optimallaşdırmaq

Pre-click və post-click metriklərini ayırın - əks halda zibil trafiki ilə CTR-ni «bükəcəksiniz».

Pre-click:

Viewability (görünən nümayişlərin payı).
vCTR = klik/görünən nümayişlər (yaradıcı üçün əsas metrika).
Frequency və Reach («yorğunluq» nəzarət üçün).
Placement-mix (platformalar/formatlar).

Post-click:

CTR açılış (ilk hərəkət), LPV/scroll, CVR əsas hadisə.
Time to first action, imtina, lida/sifariş keyfiyyəti.
Down-funnel (varsa): depozit/alış/təkrar.

Məhdudiyyətlər/siyasətlər (YMYL/gambling, fintech və s.):

Heç bir «zəmanətli nəticə» vəd, Responsible/Legal hörmət.
Neytral CTA («Şərtlərə baxın», «Demo açın»), lazım olduqda diskleymerlər.

2) Eksperimentlərin arxitekturası: sistem nədən ibarətdir

1. Hipotez qaydaları (şablon): problem → fikir → gözlənilən effekt (MDE) → metrika → seqmentlər → risklər.

2. Neyminq və fayl/kodların versiyası:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Trafik marşrutu cədvəli: playsment → A/B qrupu → göstərmə payı → istisnalar.

4. Схема событий (tracking plan): impressions, viewable impressions, clicks, pageview, cta_click, form_start, form_error, submit, purchase.

5. Saxlama və hazırlıq təbəqəsi: xam log → normallaşma (de-dup, anti-bot filtrləri) → vitrinlər.

6. Daşbordlar: pre-click, post-click, eksperiment haqqında inteqral hesabat.

7. Həll arxivi: hipotez → dövr → nümunə ölçüsü → p-value/etibarlı interval → həll → geri çəkilir.

3) A/B dizaynı: «təmiz» səbəb qaydaları

Bir anda 1 faktoru dəyişdirin (offer və ya vizual və ya CTA).

Bir şəxsin hər iki seçimi bir seans ərzində görməməsi üçün (cookie/uid) deyil, istifadəçi tərəfindən randomizasiya.

vCTR-ə güclü təsir göstərirsə, stratifikasiya (platforma/format/cihaz üzrə).

Test = gün mövsümiliyini əhatə etmək üçün tam həftələr.

Başlamazdan əvvəl MDE (minimum aşkarlanan effekt) qeyd edin: məsələn, vCTR-ə + 8% tutmaq istəyirik.

Stop-şərt: İstədiyiniz statistik gücə çatıb Və ≥ müddəti N gündür. «Baxmayın» və erkən dayanmayın.

4) Ağrısız statistika

Nümunə və müddət: baza vCTR/CR və daha az MDE aşağı, daha çox trafik və daha uzun test.

Həll üçün metrika: yaradıcılıqda - daha çox vCTR, lakin son qərar - post-klik varsa, CR/CPA-ya qaldırmaq üçün.

Etibarlı intervalları həmişə hesabatda göstərin; 1-2 gün ərzində nəticələrdən çəkinin.

Multisравнений: əgər> 2 variant, Bonferroni/FDR planını istifadə edin və ya cüt test edin.

Ardıcıl testlər/erkən dayandırmalar: alət bunu bacarırsa, sərhədləri (məsələn, O'Brien-Fleming) tətbiq edin.

Bandits vs A/B: quldurlar sabit hədəfdə qalibin avto istismarı üçün uyğundur; məhsul tapıntıları, yaradıcı analitika və arxivlər üçün - klassik A/B daha şəffafdır.

5) Trafik keyfiyyətinə nəzarət

Anti-bot filtrləri: şübhəli yüksək sürət, viewability olmadan klik, anormal user agent/IP.

Marka təhlükəsizliyi: saytların/açar sözlərin istisnaları, mənfi çalma siyahısı.

Geo/cihaz: ölçmək planlaşdırdığınız seqmentlərdə test edin.

Frequency capping: istifadəçinin göstərmə tezliyini məhdudlaşdırın (məsələn, 3-5/gün), əks halda «yorğunluq» nəticəni təhrif edəcəkdir.

6) Kreativlərin rotasiyası və «yorğunluğu»

Yorğunluq həddi: sabit viewability və əhatə ilə 30-40% vCTR düşməsi - rotasiya siqnalı.

Rotasiya təqvimi: hər həftə vCTR/placement trendlərini yoxlayın; hovuz 6-12 variasiya saxlayın (matris offer × vizual × CTA).

Nəticənin dekompozisiyası: zamanla qaliblərin «reseptlərini» toplamaq üçün faktor əlamətləri (offer, visual, cta, color, layout) saxlayın.

7) End-to-end prosesi (komanda qaydaları)

1. Planlaşdırma (bazar ertəsi): hipotezlər komitəsi (marketinq + dizayn + analitik). Bir həftə ərzində 2-4 fərziyyə seçin.

2. Production (1-3 gün): bütün formatlarda dizayn paketləri, QA çek siyahısı (CTA kontrast, çəki, safe-zone, complayens).

3. Başlanğıc: trafik paylanması 50/50 (və ya 33/33/33); seqmentlərin fiksasiyası, yuvaların daxil edilməsi.

4. Monitorinq: gündəlik sanity-yoxlama (qərar vermədən): nümayişlərin payı, viewability, bot bayraqları.

5. Analiz (həftənin sonu/gücə çatması ilə): intervallarla hesabat, mobil/desktop alt seçki, izahatlar.

6. Həll yolu: qalib - istismara, uduzan - arxivə; aşağıdakı fərziyyəni insayt əsasında formalaşdırırıq.

7. Arxiv: eksperiment kartı + yaradıcı fayllar + sql-hesabat sorğusu + CV.

8) Data və dashboard: nə saxlamaq və necə baxmaq

Mini vitrin modeli (gün/yaradıcı/seqment):


date, campaign, geo, device, placement, format, creative_id, offer, visual, cta, variant,
impressions, viewable_impressions, clicks, vctr, lp_sessions, cta_clicks, form_start, submit, purchases, bounce_rate, avg_scroll, time_to_first_action

Daşbordlar:

Pre-click: viewability, vCTR, frequency, əhatə, pleysment xəritələri.
Post-click: Huni addımlarında CR, lida/SRA keyfiyyəti.
Təcrübələr: etibarlı intervallar, effektə qədər vaxt, seqmentlərin «külək gülü».

9) QA və çek siyahısı başlanğıc

Formatlar: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; mobil 320 × 100/50, 1:1, 4:5, 16:9, 9:16
Çəkisi ≤ 150-200 KB (statik/HTML5), WebP/PNG, «ağır» GIF olmadan
CTA kontrastı (WCAG), təhlükəsiz zonalar (kənardan ≥ 24 px)
Heç bir klikbeyt/vədlər, düzgün diskleymerlər
Трекинг: viewable, click, lpview, cta_click, form_start, submit
Istifadəçi tərəfindən randomizasiya, A/B göstəricilərinin dəqiq payı
Anti-bot filtrləri daxildir, playsmentlər-istisnalar xüsusi

10) Hipotezlər kitabxanası: nəyi sınamaq lazımdır

Offer:

«Şəffaf bonus şərtləri» vs «Bütün şərtlər bir səhifədə»
«Qeydiyyatsız Demo» vs «Interfeysə bax»

CTA:

«Şərtlərə bax» vs «Təfərrüatları öyrən»
«Demonu aç» vs «İndi cəhd et»

Vizual:

Səhnə/qəhrəman vs ekran interfeysi vs ikonoqrafiya
İsti fon vs neytral; kontur düyməsi vs doldurma

Kompozisiya:

Logo yuxarıdan sola vs yığcam; CTA sağdan vs aşağıdan
Başlıq altında CTA vs etimad nişanı

Mikro hərəkət (HTML5):

Hamar fade-in UTP vs nəbz CTA kontur (≤ 12 c, 2-3 faza)

11) Qərar qəbul qaydaları

Dəyər həddi: p ≤ 0. 05 və/və ya bütün etibarlı interval> 0 MDE istinad altında.

Ümumi düşüncənin sərhədi: vCTR üzrə qazanc varsa və CR/CPA batarsa, biz çıxmayacağıq.

Seqment qalibləri: fərq yalnız mobile/GEO-da əhəmiyyətlidirsə, hədəfi çıxarırıq.

Etika: manipulyativ mətn/klikbeyt qiyməti qazanmaq qəbul edilmir.

12) Anti-nümunələr (sistemi pozur)

Bir testdə bir çox faktor → nəticə yoxdur.

«2 gün ərzində qrafik üzrə» qərarlar.

Bir təcrübədə kanalların (müxtəlif auditoriyalar) qarışdırılması.

No viewability → ölü vCTR.

Eksperimentlərin arxivi yoxdur → səhvlərin təkrarlanması və «əbədi velosiped».

Şouların tezliyi nəzərə alınmır → «ilk diqqət» hesabına saxta qələbələr.

13) 30/60/90-tətbiq planı

0-30 gün - MVP sistemi

Hipotez şablonu, neyminq, QA çek siyahısı.

Hadisə sxemi və dashboard pre/post-click.

1-2 təcrübə: açar formatında offer və CTA (300 × 250/320 × 100).

viewability və anti-bot filtrləri daxil edin.

31-60 gün - dərinləşmə

Bütün formatları və top-pleysmentləri genişləndirin; HTML5 variantları əlavə edin.

Rotasiya reqlamentini və «yorğunluq» həddini tətbiq edin.

Cihaz/sayt üzrə stratifikasiya, qaliblərin seqment çıxışları daxil edin.

61-90 gün - yetkinlik

Eksperimentlər arxivi və faktor bazası (offer/visual/cta).

Avto-sorğu brif + yarı standart maketlər (dizayn-kreativ sistem).

Aylıq hesabat: ROI testlər,% qaliblər, CR/CPA-ya töhfə.

sabit seqmentlərdə avto-əməliyyat qalibləri üçün quldur pilot.

14) Mini şablonlar (kopipasta hazır)

Hipotez şablonu


Problem: vCTR aşağı mobil GEO {X}
Fikir: mənzərəli vizual + CTA «Açıq demo» interfeys ekranına dəyişdirin
MDE: +8% к vCTR
Metriklər: vCTR (əsas), CR (köməkçi), CPA (nəzarət)
Seqmentlər: mobil, formatlar 320 × 100/1: 1
Risklər: post-click; LP hadisə yoxlama

Nəticələr kartı


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
Həll: B qazandı. Off: mobile GEO {X}, 100%
Şərh: Y/Z pleysmentlərində təsir daha güclüdür

Bannerlərin A/B test sistemi «düymənin rəngi» deyil, fənlər toplusudur: düzgün metriklər (viewability → vCTR → post-click), təmiz randomizasiya, sərt QA, trafikin keyfiyyətinə nəzarət, rotasiya qaydaları və şəffaf həllər. Bir hipotez konveyeri qurun, arxiv və faktor bazasını saxlayın - və yaradıcı lotereya olmağı dayandıracaq: siz davamlı olaraq reklam səmərəliliyini artıracaq və proqnozlaşdırıla bilən addımlarla CPA-nı azaldacaqsınız.