Როგორ ავაშენოთ ბანერების A/B ტესტირების სისტემა

ერთი „წარმატებული“ ბანერი არ ქმნის სისტემას. A/B ტესტირების სისტემა არის კონვეიერი: ბრიფინგი - ვარიანტების წარმოება - შოუს კონტროლი, სწორი მეტრიკის შეგროვება, სტატისტიკა, გამოსავალი, არქივი და სკალირება. ქვემოთ მოცემულია პროცესების და არტეფაქტების მინიმალური ნაკრები, რათა ტესტები რეპროდუცირებული და მომგებიანი იყოს.

1) მიზნები და მეტრიკა

გამოიკვლიეთ pre-click და post-click მეტრიკა - წინააღმდეგ შემთხვევაში თქვენ „დააკვირდებით“ CTR- ს ნაგვის ტრაფიკის ფასად.

Pre-click:

Viewability (ხილული შოუს წილი).
vCTR = კლიშეები/თვალსაჩინო შოუები (შემოქმედების მთავარი მეტრიკა).
Frequency და Reach („დაღლილობის“ გასაკონტროლებლად).
placement-mix (პლატფორმები/ფორმატები).

Post-click:

CTR Landing (პირველი მოქმედება), LPV/scroll, CVR საკვანძო მოვლენა.
დრო პირველი მოქმედება, უარი, ლიმნის/შეკვეთის ხარისხი.
Down-funnel (თუ ხელმისაწვდომია): ანაბარი/შეძენა/გამეორება.

შეზღუდვები/პოლიტიკა (YMYL/gambling, fintech და ა.შ.):

არ არსებობს დაპირებები „გარანტირებული შედეგის“ შესახებ, პატივისცემა Responsible/Legal.
ნეიტრალური CTA („უყურეთ პირობებს“, „გახსენით დემო“), დისკლეიმერები, სადაც საჭიროა.

2) ექსპერიმენტების არქიტექტურა: რა არის სისტემა

1. ჰიპოთეზის რეგულირება (შაბლონი): პრობლემა - იდეა - მოსალოდნელი ეფექტი (MDE) - მეტრიკა, სეგმენტები და რისკები.

2. ფაილების/კოდების ნეიმინგი და ვერსია:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. ტრაფიკის მარშრუტიზაციის ცხრილი: A/B ჯგუფის პლეიზმენტი, შოუს წილი გამონაკლისით.

4. Схема событий (tracking plan): impressions, viewable impressions, clicks, pageview, cta_click, form_start, form_error, submit, purchase.

5. საცავი და მომზადების ფენა: ნედლეული ლოგები - ნორმალიზაცია (დე დუპი, ანტი-ბოტი ფილტრები) - ფანჯრები.

6. დაშბორდები: pre-click, post-click, ინტეგრალური ექსპერიმენტის ანგარიში.

7. გადაწყვეტილებების არქივი: ჰიპოთეზა - ნიმუშის ზომა - p-value/ნდობის ინტერვალი - გამოსავალი - გამოყვანა.

3) დიზაინი A/B: „სუფთა“ მიზეზის წესები

ჩვენ ერთხელ ვცვლით 1 ფაქტორს (ოფშორული ან ვიზუალური ან CTA).

რანდომიზაცია მომხმარებლისთვის და არა შოუში (cookie/uid) ისე, რომ ერთი ადამიანი არ ხედავს ორივე ვარიანტს სესიისთვის.

სტრატიფიკაცია (საიტზე/ფორმატში/სტრუქტურაში), თუ ისინი დიდ გავლენას ახდენენ vCTR- ზე.

ტესტი = სრული კვირები სეზონურობის დასაფარად.

შეადგინეთ MDE (მინიმალური გამოვლენილი ეფექტი) დაწყებამდე: მაგალითად, გვინდა + 8% დაიჭიროთ vCTR- ზე.

გაჩერების პირობა: მიაღწიეს სასურველ სტატისტიკურ ძალას და ხანგრძლივობა N დღე. არ „გადახედოთ“ და არ გაჩერდეთ ადრე.

4) სტატისტიკა ტკივილის გარეშე

ნიმუში და ხანგრძლივობა: რაც უფრო დაბალია ძირითადი vCTR/CR და ნაკლები MDE, მით უფრო მეტი ტრაფიკი და უფრო გრძელი ტესტი.

გამოსავალი მეტრიკა: კრემებში - უფრო ხშირად vCTR, მაგრამ საბოლოო გამოსავალი - CR/CPA- ს ამაღლებაზე, თუ არსებობს პოსტ - დაწკაპუნება.

ყოველთვის აჩვენეთ ნდობის ინტერვალები მოხსენებაში; მოერიდეთ დასკვნებს 1-2 დღის განმავლობაში.

მულტიპლიკაციები: თუ> 2 ვარიანტი, გამოიყენეთ ბონფერონის/FDR გეგმა, ან შეამოწმეთ წყვილი.

თანმიმდევრული ტესტები/ადრეული გაჩერებები: გამოიყენეთ საზღვრები (მაგალითად, O'Brien-Fleming), თუ ინსტრუმენტმა იცის როგორ.

Bandits vs A/B: ბანდიტები შესაფერისია გამარჯვებული მანქანის ოპერაციისთვის სტაბილური მიზნისთვის; სასურსათო დასკვნებისთვის, შემოქმედებითი ანალიტიკისთვის და არქივებისთვის - კლასიკური A/B უფრო გამჭვირვალეა.

5) ტრეფიკის ხარისხის კონტროლი

Anti bot ფილტრები: საეჭვო მაღალი სიჩქარე, დაწკაპუნება viewability, არანორმალური მომხმარებელი agent/IP.

ბრენდის უსაფრთხოება: საიტების გამორიცხვა/საკვანძო სიტყვები, უარყოფითი პლეილისტი.

გეო/მოწყობილობა: ტესტირება იმ სეგმენტებში, სადაც აპირებთ მასშტაბებს.

Frequency capping: შეზღუდეთ მომხმარებლის ჩვენების სიხშირე (მაგალითად, 3-5/დღე), წინააღმდეგ შემთხვევაში „დაღლილობა“ ამახინჯებს შედეგს.

6) შემოქმედების როტაცია და „დაღლილობა“

დაღლილობის ბარიერი: vCTR- ის ვარდნა 30-40% -ით სტაბილური viewability და გაშუქება - სიგნალი როტაციისთვის.

ბრუნვის კალენდარი: ყოველ კვირას შეამოწმეთ vCTR/placement ტენდენციები; შეინარჩუნეთ 6-12 ვარიაციის აუზი (ოფერის მატრიცა × ვიზუალური × CTA).

შედეგის დაშლა: შეინახეთ ფაქტორების ნიშნები (offer, ვიზუალური, cta, color, layout), რათა დროთა განმავლობაში შეაგროვოთ გამარჯვებულთა „რეცეპტები“.

7) end-to-end პროცესი (ბრძანების წესები)

1. დაგეგმვა (ორშაბათს): ჰიპოთეზის კომიტეტი (მარკეტინგი + დიზაინი + ანალიტიკოსი). ჩვენ ვირჩევთ 2-4 ჰიპოთეზას ერთი კვირის განმავლობაში.

2. წარმოება (1-3 დღე): დიზაინის პაკეტები ყველა ფორმატისთვის, QA ჩეკების სია (CTA კონტრასტი, წონა, safe-zone, შესაბამისობა).

3. გაშვება: ტრაფიკის განაწილება 50/50 (ან 33/33/33); სეგმენტების ფიქსაცია, ლოგების ჩართვა.

4. მონიტორინგი: ყოველდღიური შემოწმება (გადაწყვეტილების მიღების გარეშე): შოუს წილი, viewability, bot დროშები.

5. ანალიზი (კვირის დასასრული/ძალაუფლების მისაღწევად): მოხსენება ინტერვალებით, mobile/desctop mobiles, ახსნა.

6. გადაწყვეტილება: გამარჯვებული - ექსპლუატაციაში, დამარცხებული - არქივში; ჩვენ ვქმნით შემდეგ ჰიპოთეზას ინსაითებზე დაყრდნობით.

7. არქივი: ექსპერიმენტის ბარათი + კრეატიული ფაილები + sqp ანგარიშის მოთხოვნა + რეზიუმე.

8) მონაცემები და დაშბორდები: რა უნდა შეინახოთ და როგორ შეხედოთ

ფანჯრის მინი მოდელი (დღე/შემოქმედება/სეგმენტი):


date, campaign, geo, device, placement, format, creative_id, offer, visual, cta, variant,
impressions, viewable_impressions, clicks, vctr, lp_sessions, cta_clicks, form_start, submit, purchases, bounce_rate, avg_scroll, time_to_first_action

დაშბორდი:

Pre click: viewability, vCTR, frequence, გაშუქება, placement ბარათები.
Post-click: CR ძაბვის ნაბიჯებზე, მელა/SRA ხარისხი.
ექსპერიმენტები: ნდობის ინტერვალების ხე, ეფექტის დრო, სეგმენტების „ქარის ვარდი“.

9) QA და გაშვების სია

ფორმატები: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; მობილური 320 × 100/50, 1:1, 4:5, 16:9, 9:16
წონა - 150-200 KB (სტატიკური/HTML5), WebP/PNG, „მძიმე“ GIF გარეშე
კონტრასტი CTA (WCAG), უსაფრთხო ზონები (ზღვარზე 24 px)
არ არის clickbate/დაპირებები, სწორი დისკლეიმერები
Трекинг: viewable, click, lpview, cta_click, form_start, submit
მომხმარებელთა რანდომიზაცია, A/B შოუს მკაფიო წილი
Anti bot ფილტრები ჩართულია, პლეიზიმენტები

10) ჰიპოთეზის ბიბლიოთეკა

ოფერი:

„გამჭვირვალე ბონუსის პირობები“ vs „ყველა პირობა ერთ გვერდზე“
„დემო რეგისტრაციის გარეშე“ vs „უყურეთ ინტერფეისს“

CTA:

„გადახედეთ პირობებს“ vs „დეტალების გაცნობა“
„დემო გახსნა“ vs „ახლა სცადეთ“

ვიზუალური:

სცენა/გმირი vs სკრიპტის ინტერფეისი vs იკონოგრაფია
თბილი ფონი ნეიტრალური; კონტურული ღილაკი vs შევსება

შემადგენლობა:

ზედა-მარცხენა ლოგო კომპაქტურია; CTA მარჯვნივ ქვემოდან
ნდობის მიღწევა CTA vs სათაურით

მიკრო მოძრაობა (HTML5):

გლუვი fade-in UTP vs puls CTA გარსი (12 c, 2-3 ფაზა)

11) გადაწყვეტილების მიღების წესები

მნიშვნელობის ბარიერი: p-0. 05 ან/და ნდობის ინტერვალი მთლიანად> 0 MDE მითითებით.

საღი აზრის საზღვარი: თუ vCTR- ზე არის მოგება, და CR/CPA ჩქარობს - ჩვენ არ გამოვდივართ.

სეგმენტის გამარჯვებულები: თუ განსხვავება მნიშვნელოვანია მხოლოდ mobile- ზე/GEO- ში - ჩვენ მიზნობრივად მივდივართ.

ეთიკა: ჩვენ არ ვიღებთ მოგებას მანიპულაციური ტექსტის ფასად/clickbate.

12) ანტი-ნიმუშები (რაც არღვევს სისტემას)

ბევრი ფაქტორი ერთ ტესტში არ არის დასკვნები.

გადაწყვეტილებები „გრაფიკის მიხედვით 2 დღეში“.

არხების (სხვადასხვა აუდიტორიის) შერევა ერთ ექსპერიმენტში.

Viewability არარსებობა არის მკვდარი vCTR.

არ არსებობს ექსპერიმენტების არქივი, შეცდომების განმეორება და „მარადიული ველოსიპედი“.

შოუს სიხშირე არ არის გათვალისწინებული ყალბი გამარჯვებების გამო „პირველი ყურადღების“ გამო.

13) 30/60/90 განხორციელების გეგმა

0-30 დღე - MVP სისტემა

ჰიპოთეზის შაბლონი, ნეიმინგი, QA ჩეკის სია.

მოვლენების სქემა და დაშბორდის pre/post-click.

1-2 ექსპერიმენტი: ოფერი და CTA საკვანძო ფორმატში (300 × 250/320 × 100).

ჩართეთ viewability და ანტიბიოტიკური ფილტრები.

31-60 დღე - გაღრმავება

გაფართოება ყველა ფორმატისა და ტოპ მოთამაშისთვის; დაამატეთ HTML5 პარამეტრები.

შემოიღეთ როტაციის წესები და „დაღლილობის“ ბარიერები.

დანერგეთ სტრატიფიკაცია მოწყობილობაზე/პლატფორმაზე, გამარჯვებულთა სეგმენტირებული გადაყლაპვა.

61-90 დღე - სიმწიფე

ექსპერიმენტების არქივი და ფაქტორული ბაზა (ოფშორული/ვიზუალური/cta).

ბრიფინგის მანქანის კითხვარი + ნახევრად სტანდარტული განლაგება (შემოქმედების დიზაინის სისტემა).

ყოველთვიური ანგარიში: ROI ტესტები, გამარჯვებულთა%, წვლილი CR/CPA- ში.

ბანდიტების მფრინავი ავტომობილების ექსპლუატაციისთვის სტაბილურ სეგმენტებში.

14) მინი შაბლონები (მზად არის კოპიპასტისთვის)

ჰიპოთეზის შაბლონი


პრობლემა: vCTR დაბალია mobile GEO {X
იდეა: ვიზუალის შეცვლა სცენაზე + CTA „დემო გახსნა“
MDE: +8% к vCTR
მეტრიკა: vCTR (ძირითადი), CR (დამხმარე), CPA (კონტროლი)
სეგმენტები: მობილური, ფორმატები 320 × 100/1: 1
რისკები: post-click ვარდნა; მოვლენის LP შემოწმება

შედეგების ბარათი


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ↓ 6%
გადაწყვეტილება: B მოიგო. გაშვება: mobile GEO {X}, 100%
კომენტარი: ეფექტი უფრო ძლიერია Y/Z პლაცენტებზე

ბანერების A/B ტესტირების სისტემა არ არის „ღილაკის ფერი“, არამედ დისციპლინების ერთობლიობა: სწორი მეტრიკა (viewability - vCTR - post-click), სუფთა რანდომიზაცია, მკაცრი QA, ტრაფიკის ხარისხის კონტროლი, როტაციის რეგულაციები და გამჭვირვალე გადაწყვეტილებები. ააშენეთ კონვეიერის ჰიპოთეზა, ჩაატარეთ არქივი და ფაქტორული ბაზა - და კრეატიულობა შეწყვეტს ლატარიას: თქვენ სტაბილურად გაზრდის რეკლამირების ეფექტურობას და შეამცირებთ CPA- ს პროგნოზირებადი ნაბიჯებით.