Ինչպես կառուցել A/B փորձարկումների համակարգը

Մեկ «հաջողակ» դրոշը չի անում համակարգը։ A/B-թեստավորման համակարգը փոխակրիչ է 'բրիֆը բացատրում է, որ տարբերակների արտադրությունը թույլատրվում է ցույց տալ, որ ճիշտ մետրը հավաքվում է վիճակագրությամբ, որը բացատրում է մոսկովյան արխիվը։ Ներքևում գործընթացների և արտեֆակտների նվազագույն հավաքածու է, որպեսզի թեստերը վերարտադրվեն և շահավետ։

1) Նպատակներն ու մետրերը. Ի՞ նչ ենք լավատեսում

Ուսումնասիրեք pre-click-ը և post-click մետրերը, հակառակ դեպքում դուք «թափեք» CTR-ն աղբահանության գնով։

Pre-click:

Viewability (տեսանելի ցուցադրությունների մասը)։
VCTR = տեսահոլովակներ/տեսանելի ցուցադրություններ (ստեղծագործական հիմնական մետրը)։
Frequency և Reach («հոգնածության» վերահսկելու համար)։
Placom-mix (կայքեր/2019)։

Post-click:

CTR landing (առաջին գործողությունը), MSV/scrope, CVR հիմնական իրադարձություն։
Time to first action, մերժում, lida/2019 որակը։
Down-funnnel (եթե հասանելի է) 'դեպոզիտ/գնող/խոհարար։

Սահմանափակումներ/քաղաքականություն (YMYL/hambling, fintech և այլն)

Ոչ մի խոստում «երաշխավորված արդյունքի», հարգանք Responsible/Legal։

Չեզոք CTA («Նայեք պայմանները», «Բացել դեմոն»), դիսլեյմերներ այնտեղ, որտեղ անհրաժեշտ են։

2) Փորձարկումների ճարտարապետությունը 'ո՞ րն է համակարգը

1. Հիպոթեզների կարգավորումը (ձևաչափը), խնդիրը բացատրում է ակնկալվող էֆեկտը (MDE)։

2. Նեյմինգը և ֆայլերի/ֆայլերի տարբերակումը


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. Երթուղման իրականացումը 'A/B խմբի պլեյսմենտը ցույց է տալիս ռուսական բացառությունների մասը։

4. Схема событий (tracking plan): impressions, viewable impressions, clicks, pageview, cta_click, form_start, form_error, submit, purchase.

5. Պատրաստման պահեստ և շերտ 'հում լույսեր, նորմալացում (de-dup, anti-bot ֆիլտրեր)։

6. Dashbords: pre-click, post-click, փորձարկման ինտեգրալ զեկույցը։

7. Որոշումների արխիվը 'հիպոթեզը հաստատվում է pp-value/վստահելի մոդելի չափի երկարությամբ։

3) A/B դիզայն '«մաքուր» պատճառի կանոնները

Մենք փոխում ենք 1 գործոնը մեկ անգամ (օֆֆեր կամ տեսողական կամ CTA)։

Օգտագործողի ռանդոմիզացիան, ոչ թե ցույց (cookie/uid), որպեսզի մեկ մարդ չտեսնի երկու տարբերակները։

Ստրատիֆիկացիան (կայքում/ձևավորում/սարք), եթե դրանք շատ ազդում են vCTR-ի վրա։
Թեստը = ամբողջական շաբաթներ, որպեսզի ծածկի սեզոնայնությունը օրերում։
Գրանցեք MDE (նվազագույն դետեկտիվ էֆեկտ) մինչև սկսելը, օրինակ, ուզում ենք բռնել + 8 տոկոսը vCTR-ին։
Stop-ի պայմանը 'հասել է անհրաժեշտ վիճակագրական հզորության և N-ի օրվա տևողության։ Մի «նայեք» և չնկատեք վաղ։

4) Վիճակագրությունը առանց ցավի

Նմուշը և տևողությունը 'որքան ցածր է հիմնական vCTR/CR-ից և MDE-ից, այնքան ավելի արագ և ավելի երկար թեստ։

Լուծման մետրը 'խաչերում ավելի հաճախ vCTR-ն է, բայց վերջնական լուծումը' CR/CPA-ի բարձրացումով, եթե կա փոստի կլիկ։

Վստահելի ընդմիջումները ցույց տվեք միշտ։ խուսափեք եզրակացություններից 1-2 օր։

Բազմապատկումներ: Եթե> 2 տարբերակ, օգտագործեք Բոնֆերոնի/FDR պլանը, կամ փորձարկեք։

Հաջորդական թեստեր/վաղ կանգառներ 'կիրառեք սահմանները (օրինակ ՝ O' Brien-Fleming), եթե գործիքը կարող է։

Bandits vs A/B: Ավազակները հարմար են հաղթողի մեքենայի շահագործման համար կայուն նպատակներով։ սննդային եզրակացությունների, ստեղծագործական վերլուծության և արխիվների համար դասական A/B-ն ավելի թափանցիկ է։

5) Որակի վերահսկումը

Անտի-բոտ ֆիլտրեր 'կասկածելի բարձր արագություն, տեսահոլովակներ առանց viewability, աննորմալ user agent/IP։

Բրենդի անվտանգությունը 'տեղերի/հիմնական բառերի բացառությունները, բացասական պլեյլիստը։

Գեո/սարք 'փորձարկեք այն հատվածներում, որտեղ պլանավորում եք մեծացնել։
Frequency capping: Սահմանափակեք ցուցադրման հաճախականությունը օգտագործողի միջոցով (օրինակ ՝ 3-5/օր), հակառակ դեպքում «հոգնածությունը» աղավաղում է արդյունքը։

6) Լուծարումը և ստեղծագործական «հոգնածությունը»

Հոգնածության շեմն այն է, որ vCTR-ի նվազումը 30-40 տոկոսով կայուն viewability-ով և տարածության մեջ ազդանշան է։

Միգրացիայի օրացույցը 'ամեն շաբաթ ստուգեք vCTR/plac.ru միտումները։ պահեք փամփուշտը 6-12 տատանումներ (ֆեֆեր մատրիցա, որը տեսողական էր CTA-ի համար)։

Արդյունքի դեկոմոզիա 'պահպանեք ֆակտորային նշաններ (www.er, visom, cta, color, layout), որպեսզի ժամանակի ընթացքում հավաքեք հաղթողների «բաղադրատոմսեր»։

7) end-to-end գործընթացը (թիմի կարգավորումը)

1. Պլանավորումը (երկուշաբթի) 'հիպոթեզների հանձնաժողովը (մարքեթինգը + դիզայնը + վերլուծաբան)։ Վերցնենք շաբաթական 2-4 վարկածներ։

2. Prodakshn (1-3 օր) 'դիզայնի փաթեթներ բոլոր պարամետրերի համար, QA chek-թուղթ (CTA հակադրություն, քաշը, safe-zone, complaens)։

3. Մեկնարկը 'թիվ 50/50 (կամ 33/33/33); հատվածների ամրագրում, դիֆերենցիալ։

4. Մոսկվա 'ամենօրյա sanity-ստուգում (առանց որոշումների կայացման)' ցուցադրությունների մասը, viewability, bot-դրոշները։

5. Վերլուծություն (շաբաթվա ավարտը/ուժի հասնելը) 'զեկույց ընդմիջումներով, Altil/desktop-ի նկուղներով, բացատրություններով։

6. Լուծումը 'հաղթողը' առաջնությունում, պարտվողը 'արխիվ; ստեղծում ենք հաջորդ վարկածը ինսայթ հիմքի վրա։

7. Արխիվը 'փորձարկման քարտը + ստեղծագործական ֆայլեր + SQL զեկույցի + ռեզյումե։

8) Տվյալները և տաշբորդները. Ի՞ նչ պահել և ինչպես նայել և տեսնել։

Վիտրինի մինի-մոդելը (օր/ստեղծագործական/սեգմենտ)


date, campaign, geo, device, placement, format, creative_id, offer, visual, cta, variant,
impressions, viewable_impressions, clicks, vctr, lp_sessions, cta_clicks, form_start, submit, purchases, bounce_rate, avg_scroll, time_to_first_action

Դաշբորդները

Pre-click: viewability, vCTR, frequency, 108, պլեյսենտների քարտեզներ։

Post-click: CR-ը ձագերի քայլերով, լիդայի/SRA որակը։

Փորձարկումներ 'վստահելի ընդմիջումների փայտանյութ, ժամանակը մինչև էֆեկտը, հատվածների «քամու վարակը»։

9) QA և չեկի թուղթ

Մոսկվա: 300 35250, 336 35280, 300 35600, 160 35600, 728 3590, 970-250; Alil 320 24100/50, 1:1, 4:5, 16:9, 9:16, 9:16
Քաշը 24150-200 KB (stick/HTML5), PRP/PNG, առանց «ծանր» GIF-ի։
CTA (WCAG), անվտանգ գոտիներ (2424 px ծայրից)
Ոչ մի կլիկբայթ/խոստումներ, ճիշտ դիսկլեյմեր
Трекинг: viewable, click, lpview, cta_click, form_start, submit
Օգտագործողի ռանդոմիզացիան, A/B ցուցադրությունների հստակ մասը։
Anti-bot ֆիլտրերը ներառում են, պլեյսմենտների բացառությունները տրամադրված են

10) Վարկերի գրադարանը 'ինչ փորձարկել

Օֆեր

«Բոնուսի թափանցիկ պայմանները» vs «Բոլոր պայմանները մեկ էջում»

«Դեմո առանց գրանցման» vs «Դիտեք ինտերֆեյսը»

CTA:

"Դիտեք" vs "-ի պայմանները
«Բացել դեմո» vs «Փորձել հիմա»

Տեսա

Բեմը/հերոս vs skrine ինտերֆեյսի vs պատկերագրություն

Տաք ֆոն վսը չեզոք է; պտուտակային կոճակ vs ծոցի

Մոսկվան

Վերևի ձախ կողմում vs կոմպակտ է։ CTA աջ աջ vs ներքևում

Բեյջը վստահություն CTA vs վերնագրի տակ

Միկրո շարժումը (HTML5)

Լողացող fade-in UTP vs pups CTA օղակներ (No. 12 c, 2-3 փուլեր)

11) Որոշումներ կայացնելու կանոնները

Կարևորության շեմն է 'p 240։ MDE-genter-ի դեպքում։

Տրամաբանական սահմանն այն է, որ եթե դուք հաղթում եք vCTR-ով, իսկ CR/CPA-ն արթնացել է, մենք չենք նետում։

Սեգմենտային հաղթողներ 'եթե տարբերությունը նշանակալի է միայն Altaile/GEO-ում, մենք հյուսում ենք թարգետոն։

Էթիկա 'շահում ենք մանիպուլյատիվ տեքստի/կլիկբայթի գինը չենք ընդունում։

12) Anti-patterns (որը կոտրում է համակարգը)

Շատ գործոններ մեկ թղթի վրա եզրակացություններ չկան։

Որոշումները «գծապատկերով երկու օրվա ընթացքում»։
Ջրանցքների խառնուրդը (տարբեր լսարաններ) մեկ փորձի մեջ։
Viewability-ի բացակայությունը մահացած vCTR-ն է։
Փորձարկումների արխիվը չի կարելի կրկնել սխալները և «հավիտենական հեծանիվը»։
Չի հաշվի առնում ռուսական կեղծ հաղթանակների ցուցադրման հաճախությունը «առաջին ուշադրության» պատճառով։

13) 30/60/90 ներդրման պլան

0-30 օր - MVP համակարգ

Նեյմինգը, QA չեկը։

Իրադարձությունների սխեմա և dashbord pre/post-click։
1-2 փորձարկումներ 'օֆֆեր և CTA հիմնական ձևաչափով (300-250/320-100)։
Միացրեք viewability և anti-bot ֆիլտրերը։

31-60 օր 'խորացում

Ընդլայնել բոլոր պարամետրերը և լավագույն պլեքսենտները։ Ավելացնել HTML5 տարբերակները։

Ներդնել միգրացիայի և «հոգնածության» շեմերը։

Ներդնել կառուցվածքի/կայքի ապահովագրումը, հաղթողների հատվածները։

61-90 օր 'հասունություն

Փորձարկումների արխիվը և ֆակտորային հիմքը (www.er/vis.ru/cta)։

Բրիֆի հարցումը + կիսագնդային մոդելներ (ստեղծագործական դիզայնի համակարգ)։
Ամսական զեկույցը 'ROI թեստեր, հաղթողների տոկոսը, CR/CPA-ի ներդրումը։
Ավազակների օդաչուն հաղթողների ավտո-գործողության համար կայուն սեգմենտներում։

14) Մինի ձևանմուշները (պատրաստ են կոպիպաստին)

Հիպոթեզներ


Խնդիրը 'vCTR ցածր է GEO + X-ում
Գաղափարը 'փոխարինել բեմով ինտերֆեյսի + CTA «Բացել դեմոն»
MDE: +8% к vCTR
Մետրիկները ՝ vCTR (հիմնական), CR (օժանդակ), CPA (վերահսկողություն)
Սեգմենտներ ՝ Altaile, 24320 24100/1: 1
Ռիսկերը 'post-click անկում; Ստուգել LP իրադարձությունները

Մրցույթի քարտը


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
Լուծումը 'B հաղթեց։ Vikat: Altaile GEO + X +, 100%
Մեկնաբանություն 'էֆեկտը ավելի ուժեղ է Y/Z պլեյսենտների վրա

A/B-թեստավորման համակարգը ոչ թե «կոճակի գույնը» է, այլ առարկաների մի շարք ՝ ճիշտ չափումներ (viewability no vCTR nopost-click), մաքուր ռանդոմալիզացիա, կոշտ QA, վերահսկում ձեռնարկության որակը, կարգավորումը և թափանցիկ լուծումները։ Դուք կկառուցեք վարկածներ փոխակրիչի կառուցումը, պահեք արխիվը և ֆակտորային հիմքը, և խաչը կդադարի վիճակախաղի լինել, դուք կայուն կբարձրացնեք գովազդի արդյունավետությունը և նվազեցնեք CPA կանխատեսելի քայլերով։