Bir banner A/B test sistemi nasıl oluşturulur

Bir "şanslı" afiş sistemi oluşturmaz. A/B test sistemi bir boru hattıdır: Kısa seçeneklerin üretimi izlenimlerin kontrolü doğru metriklerin toplanması istatistik çözüm arşiv ölçeklendirme. Aşağıda, testlerin tekrarlanabilir ve karlı olması için minimum işlem ve eser seti bulunmaktadır.

1) Hedefler ve metrikler: optimize ettiklerimiz

Tıklama öncesi ve tıklama sonrası metrikleri seyreltin - aksi takdirde TO'yu önemsiz trafik pahasına "tweak" edersiniz.

Ön tıklama:

Görüntülenebilirlik.
vCTR = tıklamalar/görünür gösterimler (yaratıcılık için ana metrik).
Frekans ve Erişim ("yorgunluğu" kontrol etmek için).
Placement-mix (platformlar/formatlar).

Tıklama sonrası:

Açılış TO (ilk eylem), LPV/kaydırma, önemli olay CVR.
İlk eylem, başarısızlık, kurşun/sipariş kalitesi zamanı.
Aşağı huni (varsa): para yatırma/satın alma/tekrarlama.

Kısıtlamalar/politikalar (YMYL/kumar, fintech, vb.):

"Garantili sonuç" sözü yok, Sorumlu/Yasal saygı.
Tarafsız CTA'lar ("Şartları Görüntüle", "Açık Demo"), gerektiğinde feragatnameler.

2) Deneysel mimari: Sistemin nelerden oluştuğu

1. Hipotez Kuralları (Şablon): Problem - Fikir - Beklenen Etki (MDE) - Metrikler - Segmentler - Riskler.

2. Dosyaların/kodların adlandırılması ve sürümlendirilmesi:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Trafik yönlendirme tablosu: yerleştirme - A/B grubu - görüntüleme payı - dışlama.

4. Схема событий (izleme planı): gösterimler, görüntülenebilir gösterimler, tıklamalar, sayfa görüntüleme, cta_click, form_start, form_error, gönderme, satın alma.

5. Depolama ve hazırlama katmanı: ham günlükler - normalleştirme (de-dup, anti-bot filtreleri) - vitrinler.

6. Panolar: ön tıklama, post-tıklama, deneyle ilgili integral rapor.

7. Karar arşivi: hipotez? Dönem? Örnek boyutu? P-değeri/güven aralığı? Karar? Sunum.

3) Tasarım A/B: "saf" nedensellik kuralları

Bir kerede 1 faktörü değiştirin (teklif veya görsel veya CTA).

Bir kişinin bir oturumda her iki seçeneği de görmemesi için ekran (çerez/uid) yerine kullanıcı tarafından rastgeleleştirme.

vCTR'yi güçlü bir şekilde etkiliyorsa tabakalaşma (site/format/cihaza göre).

Test = gündüzleri mevsimselliği karşılamak için tam haftalar.

Başlamadan önce MDE'yi (minimum algılanabilir etki) düzeltin: örneğin, + %8'i vCTR'ye yakalamak istiyoruz.

Durma koşulu: gerekli istatistiksel güç VE süre ≥ N gün ulaştı. "Dikizlemeyin've erken durmayın.

4) Ağrısız istatistikler

Örnekleme ve Süre: Taban çizgisi vCTR/CR ne kadar düşükse ve MDE ne kadar düşükse, daha fazla trafik ve test o kadar uzun olur.

Çözüm için metrik: reklamlarda - daha sık vCTR, ancak son çözüm, bir tıklama sonrası varsa, CR/CPA'ya yükseltmektir.

Raporda her zaman güven aralıkları göstermek; 1-2 gün boyunca sonuçlardan kaçının.

Çoklu denklemler:> 2 seçenek varsa, Bonferroni/FDR planını kullanın veya çiftler halinde test edin.

Sıralı testler/erken duraklar: Sınırları uygulayın (örn. O'Brien-Fleming) enstrüman bunu yapabilirse.

A/B vs haydutlar: Haydutlar istikrarlı bir hedef ile kazanan otomatik sömürü için uygundur; Ürün analizleri, yaratıcı analizler ve arşivler için klasik A/B daha şeffaftır.

5) Trafik kalite kontrolü

Anti-bot filtreleri: şüpheli yüksek hız, görüntülenebilirliği olmayan tıklamalar, anormal kullanıcı aracısı/IP.

Marka güvenliği: site/anahtar kelime dışlamaları, olumsuz çalma listesi.

Geo/Device: Ölçeklendirmeyi planladığınız segmentlerde test edin.

Sıklık sınırı: kullanıcı tarafından görüntülenme sıklığını sınırlayın (örneğin, 3-5/gün), aksi takdirde "yorgunluk" sonucu bozar.

6) Yaratıcıların rotasyonu ve "yorgunluğu"

Yorulma eşiği: Sabit görüntülenebilirlik ve kapsama ile vCTR'de %30-40 düşüş - döndürmek için bir sinyal.

Rotasyon takvimi: Her hafta vCTR/yerleşim eğilimlerini kontrol edin; 6-12 varyasyondan oluşan bir havuz tutun (matris teklifi × görsel × CTA).

Sonuç ayrıştırma: zamanla kazananların "tariflerini" toplamak için faktör işaretlerini (teklif, görsel, cta, renk, düzen) saklayın.

7) Uçtan uca süreç

1. Planlama (Pazartesi): Hipotez Komitesi (Pazarlama + Tasarım + Analist). Bir hafta boyunca 2-4 hipotez seçiyoruz.

2. Üretim (1-3 gün): Tüm formatlar için tasarım paketleri, QA kontrol listesi (CTA kontrastı, ağırlık, güvenli bölge, uyumluluk).

3. Başlangıç: trafiğin dağıtımı 50/50 (veya 33/33/33); Parçaları sabitleme, günlükleri etkinleştirme.

4. İzleme: Günlük akıl sağlığı kontrolü (karar vermeden): gösterim payı, görüntülenebilirlik, bot bayrakları.

5. Analiz (hafta sonu/güce ulaştıktan sonra): aralıklarla rapor, mobil/masaüstü alt örnekleri, açıklamalar.

6. Çözüm: kazanan - operasyona, kaybeden - arşive; Aşağıdaki hipotezi içgörülere dayanarak oluşturuyoruz.

7. Arşiv: deneme kartı + yaratıcı dosyalar + sql sorgu raporu + özgeçmiş.

8) Veri ve gösterge panoları: ne saklanır ve nasıl izlenir

Mini vitrin modeli (gün/yaratıcı/segmente göre):


tarih, kampanya, coğrafi, cihaz, yerleştirme, biçim, creative_id, teklif, görsel, cta, varyant,
Gösterimler, viewable_impressions, tıklamalar, vctr, lp_sessions, cta_clicks, form_start, gönder, satın almalar, bounce_rate, avg_scroll, time_to_first_action

Panolar:

Ön tıklama: görüntülenebilirlik, vCTR, frekans, erişim, yerleştirme kartları.
Tıklama sonrası: Huni aralığına göre CR, kurşun/EBM kalitesi.
Deneyler: Güven aralıkları merdiveni, etki zamanı, segmentlerin rüzgar gülü.

9) KG ve başlatma kontrol listesi

Biçimler: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; 320 mobil × 100/50, 1:1, 4:5, 16:9, 9:16
Ağırlık ≤ 150-200 KB (statik/HTML5), WebP/PNG,'ağır "GIF'ler olmadan
CTA kontrastı (WCAG), güvenli bölgeler (kenardan ≥24 piksel)
Hayır clickbait/sözler, doğru feragatnameler
Трекинг: görüntülenebilir, tıklama, lpview, cta_click, form_start, gönder
Kullanıcı tarafından randomizasyon, A/B gösterimlerinin net oranı
Anti-bot filtreleri etkinleştirildi, yerleşimler istisnalar yapılandırıldı

10) Hipotez Kütüphanesi: Ne Test Edilmeli

Teklif:

"Şeffaf bonus terimleri" vs "Bir sayfada tüm terimler"
"Kayıt olmadan demo" vs "Görünüm arayüzü"

CTA:

"Şartları Görüntüle" vs "Ayrıntıları Öğren"
"Açık Demo" vs "Şimdi Dene"

Görsel:

Sahne/kahraman vs ekran arayüzü vs ikonografi
Sıcak arka plan vs nötr; anahat düğmesi vs dolgu

Kompozisyon:

Sol üst logo vs kompakt; CTA sağ ve alt
CTA'da güven rozeti vs başlık altında

Mikro hareket (HTML5):

Pürüzsüz solma PTC vs darbe CTA inme (≤12 c, 2-3 aşamaları)

11) Karar kuralları

Önem eşiği: p≤0. MDE dönüm noktasında 05 ve/veya tüm güven aralığı> 0.

Sağduyu sınırı: Bir vCTR galibiyeti varsa, ancak CR/CPA sarkmışsa, dışarı çıkmayız.

Segment kazananları: fark sadece mobil/GEO'da önemliyse - hedeflenen şekilde dağıtın.

Etik: Biz manipülatif metin/clickbait pahasına kazanç kabul etmiyoruz.

12) Anti-desenler (sistemi bozan)

Bir testte birçok faktör - sonuç yok.

Kararlar "2 günlük programda".

Bir deneyde kanalları (farklı izleyiciler) karıştırma.

Görüntülenebilirlik eksikliği - ölü vCTR.

Deney arşivi yok - hataların tekrarı ve "sonsuz bisiklet".

Gösterim sıklığı -'ilk dikkat "nedeniyle sahte zaferler dikkate alınmaz.

13) 30/60/90 uygulama planı

0-30 Gün - Sistem MVP

Hipotez şablonu, adlandırma, KG kontrol listesi.

Olayların diyagramı ve pano öncesi/sonrası tıklama.

1-2 deneyler: teklif ve anahtar formatında CTA (300 × 250/320 × 100).

Görüntülenebilirliği ve anti-bot filtrelerini etkinleştirin.

31-60 gün - derinleşme

Tüm formatlara ve üst yerleşimlere genişletin; HTML5 çeşitlerini ekleyin.

Rotasyon düzenlemelerini ve "yorulma" eşiklerini uygulayın.

Cihaz/siteye göre tabakalaşmayı tanıtın, kazananların bölüm başlatmaları.

61-90 gün - olgunluk

Deney arşivi ve faktör tabanı (teklif/görsel/cta).

Otomatik anket özeti + yarı standart düzenler (yaratıcı tasarım sistemi).

Aylık rapor: Testlerin yatırım getirisi, kazananların yüzdesi, CR/EBM'ye katkı.

Kazananların istikrarlı bölümlerde otomatik sömürüsü için haydutların pilotu.

14) Mini şablonlar (kopyala yapıştır için hazır)

Hipotez şablonu


Sorun: vCTR düşük mobil GEO {X}
Fikir: ekran arayüzü ile sahne ile görsel değiştirin + CTA "Açık demo"
MDE: + %8 к vCTR
Metrikler: vCTR (birincil), CR (ikincil), EBM (kontrol)
Segmentler: mobil, formatlar 320 × 100/1: 1
Riskler: Tıklama sonrası düşüş; Olay LP kontrolü

Toplamlar kartı


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. %3, EBM ↓ %6
Karar: B kazandı. Kullanıma sunma: mobil GEO {X}, %100
Yorum: Etki Y/Z yerleşimlerinde daha güçlü

A/B banner test sistemi bir "düğme rengi'değil, bir dizi disiplindir: doğru metrikler (görüntülenebilirlik - vCTR - tıklama sonrası), saf randomizasyon, sert QA, trafik kalite kontrolü, rotasyon düzenlemeleri ve şeffaf çözümler. Bir hipotez hattı oluşturun, bir arşiv ve faktör tabanı oluşturun - ve yaratıcılık bir piyango olmaktan çıkacaktır: Reklamın etkinliğini sürekli olarak artıracak ve EBM'yi öngörülebilir adımlarla azaltacaksınız.