Баннерлерді A/B тестілеу жүйесін қалай құру керек

Бір «сәтті» баннер жүйені жасамайды. A/B-тестілеу жүйесі - бұл конвейер: бриф → нұсқаларды өндіру → көрсеткіштерді бақылау → түзету өлшемдерін жинау → статистика → шешім → мұрағат → масштабтау. Төменде - тестілер қайталанатын және пайдалы болуы үшін процестер мен артефакттардың ең аз жиынтығы.

1) Мақсаттары мен өлшемдері: не оңтайландырамыз

pre-click және post-click метрикаларын қосыңыз - әйтпесе сіз CTR-ді қоқыс трафигінің бағасымен «айналдырасыз».

Pre-click:

Viewability (көрінетін көрсетулердің үлесі).
vCTR = кликтер/көрінетін көрсеткіштер (креативтің басты метрикасы).
Frequency және Reach («шаршауды» бақылау үшін).
Placement-mix (алаңдар/пішімдер).

Post-click:

CTR лендингі (бірінші әрекет), LPV/scroll, CVR негізгі оқиғасы.
Time to first action, істен шығу, лид/тапсырыс сапасы.
Down-funnel (егер қол жетімді болса): депозит/сатып алу/қайталау.

Шектеулер/саясат (YMYL/гэмблинг, финтех және т.б.):

Ешқандай «кепілдендірілген нәтиже» уәдесі, Responsible/Legal құрметі.
Бейтарап CTA («Шарттарды қарау», «Демоны ашу»), дисклеймерлер қажет жерде.

2) Эксперименттер архитектурасы: жүйе неден тұрады

1. Гипотеза регламенті (шаблон): проблема → идея → күтілетін әсер (MDE) → метрика → сегменттер → тәуекелдер.

2. Нейминг және файлдарды/кодтарды нұсқалау:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Трафикті маршруттау кестесі: плейсмент → A/B тобы → көрсету үлесі → ерекшеліктер.

4. Схема событий (tracking plan): impressions, viewable impressions, clicks, pageview, cta_click, form_start, form_error, submit, purchase.

5. Сақтау орны және дайындау қабаты: шикі табандар → қалыпқа келтіру (де-дуп, анти-бот сүзгілер) → витриналар.

6. Дашбордтар: pre-click, post-click, эксперимент бойынша интегралды есеп.

7. Шешімдер мұрағаты: гипотеза → кезең → іріктеу өлшемі → p-value/сенімді аралық → шешім → шығару.

3) A/B дизайны: «таза» себеп ережелері

Бір уақытта 1 факторды өзгертеміз (оффер немесе визуал немесе CTA).

Бір адам сессияның екі нұсқасын да көрмеуі үшін (cookie/uid) емес, пайдаланушы бойынша рандомизациялау.

Стратификация (алаңы/форматы/құрылғысы бойынша), егер олар vCTR-ға қатты әсер етсе.

Тест = күндер бойынша маусымдылықты жабу үшін толық апта.

MDE (ең аз анықталатын әсер) басталғанға дейін белгілеңіз: мысалы, vCTR-ге + 8% ұстап қалғымыз келеді.

Тоқтау шарты: қажетті статистикалық қуатқа жеттік және ≥ ұзақтығы N күн. «Қарауға» ерте емес.

4) Ауырсынусыз статистика

Таңдау және ұзақтығы: базалық vCTR/CR төмен және MDE төмен, трафик көп және тест ұзағырақ.

Шешу үшін метрика: креативтерде - vCTR жиілігі, бірақ соңғы шешім - егер пост-басу болса, CR/CPA-ға дейін көтеру.

Сенімді аралықтарды әрқашан есепте көрсетіңіз; 1-2 күн қорытындыдан аулақ болыңыз.

Мультисептер: егер> 2 нұсқа болса, Бонферрони/ФДР жоспарын пайдаланыңыз немесе жұптасып тестілеңіз.

Тізбекті тесттер/ерте тоқтаулар: егер құрал жасай алса, шектерді қолданыңыз (мысалы, O'Brien-Fleming).

Bandits vs A/B: бандиттер тұрақты мақсатта жеңімпазды авто пайдалану үшін жарамды; өнімдік қорытындылар, креативті талдау және мұрағаттар үшін - классикалық A/B мөлдір.

5) Трафиктің сапасын бақылау

Анти-бот сүзгілері: күдікті жоғары жылдамдық, viewability жоқ басу, аномалды user agent/IP.

Бренд-қауіпсіздік: алаңдарды/кілт сөздерді алып тастау, теріс плейлист.

Гео/құрылғы: масштабтауды жоспарлаған сегменттерде тестілеңіз.

Frequency capping: пайдаланушы бойынша көрсету жиілігін шектеңіз (мысалы, 3-5/күн), әйтпесе «шаршау» нәтижені бұрмалайды.

6) Креативтерді ротациялау және «шаршау»

Шаршау шегі: vCTR тұрақты viewability және қамту кезінде 30-40% -ға төмендеуі - ротация сигналы.

Ротация күнтізбесі: әр апта сайын vCTR/placement трендтерін тексеріңіз; 6-12 вариация пулын ұстаңыз (оффер матрицасы × визуалды × CTA).

Нәтиженің декомпозициясы: уақыт өте келе жеңімпаздардың «рецептілерін» жинау үшін факторлық белгілерді (offer, visual, cta, color, layout) сақтаңыз.

7) end-to-end процесі (команда регламенті)

1. Жоспарлау (дүйсенбі): гипотеза комитеті (маркетинг + дизайн + талдаушы). Бір аптаға 2-4 гипотезаны таңдап аламыз.

2. Продакшн (1-3 күн): барлық форматтарға арналған дизайн-пакеттер, QA чек-парақ (контраст CTA, салмақ, safe-zone, комплаенс).

3. Іске қосу: трафикті тарату 50/50 (немесе 33/33/33); сегменттерді бекіту, логтарды қосу.

4. Мониторинг: күнделікті sanity-тексеру (шешім қабылдаусыз): көрсету үлесі, viewability, бот-жалаулар.

5. Талдау (аптаның соңы/қуатқа жету бойынша): интервалдармен есеп беру, мобайл/десктопты іріктеу, түсініктемелер.

6. Шешім: жеңімпаз - пайдалануға, ұтылушы - мұрағатқа; инсайт негізінде келесі гипотезаны қалыптастырамыз.

7. Мұрағат: эксперимент карточкасы + креативтер файлдары + есеп сұрауы + түйіндеме.

8) Деректер мен дашбордтар: не сақтау және қалай қарау керек

Витринаның шағын моделі (күн/креатив/сегмент бойынша):


date, campaign, geo, device, placement, format, creative_id, offer, visual, cta, variant,
impressions, viewable_impressions, clicks, vctr, lp_sessions, cta_clicks, form_start, submit, purchases, bounce_rate, avg_scroll, time_to_first_action

Дашбордтар:

Pre-click: viewability, vCTR, frequency, қамту, плейсмент карталары.
Post-click: CR құйғыштың қадамдары бойынша, лида/СРА сапасы.
Эксперименттер: сенiмдi аралық сызығы, әсерге дейiнгi уақыт, сегменттердiң «жел раушаны».

9) QA және іске қосу шот-парағы

Форматтар: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; мобайл 320 × 100/50, 1:1, 4:5, 16:9, 9:16
Салмағы ≤ 150-200 KB (статик/HTML5), WebP/PNG, «ауыр» GIF жоқ
CTA (WCAG) контрасты, қауіпсіз аймақтар (шетінен ≥ 24 px)
Ешқандай кликбейт/уәделер, дұрыс дисклеймерлер
Трекинг: viewable, click, lpview, cta_click, form_start, submit
Пайдаланушы бойынша рандомизация, A/B көрсеткіштерінің нақты үлесі
Анти-бот сүзгілері қосылған, плейсмент-ерекшеліктер теңшелген

10) Гипотезалар кітапханасы: не тестілеу керек

Оффер:

«Бонустың ашық шарттары» vs «Бір беттегі барлық шарттар»
«Тіркеусіз демо» vs «Интерфейсті көру»

CTA:

«Шарттарды қарау» vs «Толығырақ білу»
«Демоны ашу» vs «Қазір байқап көру»

Визуалды:

Сахна/кейіпкер vs интерфейс скриншоты vs иконография
Жылы фон vs бейтарап; контурлық түймешік vs толтыру

Композиция:

Логотип жоғары-сол vs ықшам; CTA оң жақтан vs төменге қарай
CTA vs атауындағы сенім белгісі

Микро-қозғалыс (HTML5):

Бірқалыпты fade-in УТП vs пульс CTA жиегі (≤ 12 с, 2-3 фаза)

11) Шешім қабылдау қағидалары

Мән шегі: p ≤ 0. 05 және/немесе MDE бағдарында тұтас> 0 сенім аралығы.

Дұрыс ой-сананың шегі: егер vCTR бойынша ұтыс болса, ал CR/CPA болса, біз оны шығарбаймыз.

Сегменттік жеңімпаздар: егер айырмашылық тек мобайл/GEO-да ғана елеулі болса - таргетпен шығарамыз.

Әдеп: манипуляциялық мәтін/кликбейт бағасымен ұтыстарды қабылдамаймыз.

12) Анти-паттерндер (жүйені бұзады)

Бір тестте көптеген факторлар жоқ.

Шешімдер «кесте бойынша 2 күнде».

Бір экспериментте арналарды (әртүрлі аудиторияларды) араластыру.

viewability → өлі vCTR жоқ.

Эксперимент мұрағаты жоқ → қателерді қайталау және «мәңгілік велосипед».

Көрсетілімдердің жиілігі ескерілмейді → «бірінші назар» есебінен жалған жеңістер.

13) 30/60/90-енгізу жоспары

0-30 күн - MVP жүйесі

Гипотеза үлгісі, нейминг, QA чек-парағы.

Оқиғалар схемасы және дашборд pre/post-click.

1-2 эксперимент: оффер және негізгі форматтағы CTA (300 × 250/320 × 100).

viewability және анти-боттық сүзгілерді қосу.

31-60 күн - тереңдету

Барлық форматтарға және топ-плейсментке кеңейту; HTML5 нұсқаларын қосу.

Ротация регламентін және «шаршау» шегін енгізу.

Құрылғы/алаң бойынша стратификация енгізу, жеңімпаздарды сегменттік шығару.

61-90 күн - жетілу

Эксперименттер мұрағаты және факторлық база (offer/visual/cta).

Авто-сауалнама + жартылай стандартты макеттер (креативтердің дизайн-жүйесі).

Айлық есеп: ROI тесттер, жеңімпаздар%, CR/CPA үлесі.

Тұрақты сегменттердегі жеңімпаздарды авто пайдалану үшін бандиттердің ұшқышы.

14) Шағын шаблондар (копипастқа дайын)

Гипотеза үлгісі


Проблема: vCTR төмен Mobile GEO {X}
Идея: көрінісі бар визуалды интерфейс скриніне ауыстыру + CTA «Демоны ашу»
MDE: +8% к vCTR
Метриктер: vCTR (негізгі), CR (қосалқы), CPA (бақылау)
Сегменттер: мобайл, 320 × 100/1: 1 форматтары
Тәуекелдер: post-click құлдырауы; LP оқиғасын тексеру

Қорытынды карточкасы


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
Шешім: B жеңді. Шығу: GEO мобайл {X}, 100%
Түсініктеме: Y/Z плейсментінде әсері күшті

Баннерлерді A/B тестілеу жүйесі - бұл «батырманың түсі» емес, пәндер жиынтығы: дұрыс метриктер (viewability → vCTR → post-click), таза рандомизация, қатаң QA, трафик сапасын бақылау, ротация регламенті және мөлдір шешімдер. Болжамдар конвейерін құрыңыз, мұрағат пен факторлық базаны ұстаңыз - креатив лотерея болуды тоқтатады: сіз жарнаманың тиімділігін тұрақты түрде арттырып, болжамды қадамдармен CPA-ны төмендетесіз.