एक बैनर ए/बी परीक्षण प्रणाली का निर्माण कैसे करें
एक "भाग्यशाली" बैनर सिस्टम नहीं बनाता है। ए/बी परीक्षण प्रणाली एक पाइपलाइन है: संक्षिप्त विकल्पों का उत्पादन छापों का नियंत्रण सही मेट्रिक्स का संग्रह सांख्यिकी समाधान संग्रह संग्रह स्केलिंग। नीचे परीक्षणों के लिए प्रक्रियाओं और कलाकृतियों का न्यूनतम सेट प्रजनन योग्य और लाभदायक है।
1) लक्ष्य और मैट्रिक्स: हम क्या अनुकूलन करते हैं
प्री-क्लिक और पोस्ट-क्लिक मेट्रिक्स को पतला करें - अन्यथा आप कबाड़ यातायात की लागत पर सीटीआर को "ट्विक" करेंगे।
पूर्व क्लिक:- देखने की क्षमता।
- vCTR = क्लिक/दृश्यमान छापों (रचनात्मकता के लिए मुख्य मीट्रिक)।
- आवृत्ति और पहुंच ("थकान" को नियंत्रित करने के लिए)।
- प्लेसमेंट-मिक्स (प्लेटफॉर्म/प्रारूप)
- लैंडिंग सीटीआर (पहली क्रिया), एलपीवी/स्क्रॉल, प्रमुख घटना सीवीआर।
- पहली क्रिया, असफलता, सीसा/क्रम गुणवत्ता का समय।
- डाउन-फ़नल (यदि उपलब्ध हो): जमा/खरीद/दोहराएं।
- जिम्मेदार/कानूनी के लिए सम्मान "गारंटीकृत परिणाम" का कोई वादा नहीं।
- तटस्थ सीटीए ("व्यू टर्म्स", "ओपन डेमो"), डिस्क्लेमर जहां जरूरत है।
2) प्रायोगिक वास्तुकला: सिस्टम में क्या शामिल है
1. परिकल्पना नियम (टेम्पलेट): समस्या → विचार → अपेक्षित प्रभाव (एमडीई) → मेट्रिक्स → सेगमेंट → जोखिम।
2. फ़ाइलों/कोडों का नामकरण और संस्करण:
2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02। वेबप
3. ट्रैफिक रूटिंग टेबल: प्लेसमेंट → ग्रुप ए/बी → शेयर ऑफ डिस्प्ले → अपवर्जन।
4. Схема событий (ट्रैकिंग प्लान): छाप, देखने योग्य छाप, क्लिक, पेजव्यू, cta_click, form_start, form_error, सबमिट, खरीद।
5. भंडारण और तैयारी परत: कच्चे लॉग → सामान्यीकरण (डी-डप, एंटी-बॉट फिल्टर) → शोकेस।
6. डैशबोर्ड: प्री-क्लिक, पोस्ट-क्लिक, प्रयोग पर अभिन्न रिपोर्ट।
7. निर्णय संग्रह: परिकल्पना → अवधि → नमूना आकार → p-मूल्य/विश्वास अंतराल → निर्णय → रोलआउट।
3) डिजाइन ए/बी: "शुद्ध" कारण नियम
एक समय में 1 कारक बदलें (प्रस्ताव या दृश्य या सीटीए)।
प्रदर्शन (कुकी/यूआईडी) के बजाय उपयोगकर्ता द्वारा यादृच्छिककरण ताकि एक व्यक्ति सत्र में दोनों विकल्पों को न देख सके।
स्तरीकरण (साइट/प्रारूप/उपकरण द्वारा) यदि वे vCTR को दृढ़ ता से प्रभावित करते हैं।
टेस्ट = दिन के हिसाब से मौसमी को कवर करने के लिए पूरे सप्ताह।
शुरू करने से पहले एमडीई (न्यूनतम पता लगाने योग्य प्रभाव) को ठीक करें: उदाहरण के लिए, हम vCTR पर + 8% कैप्चर करना चाहते हैं।
स्टॉप स्थिति: आवश्यक सांख्यिकीय शक्ति और अवधि ≥ N दिनों तक पहुंच गया। "पीप" न करें और जल्दी न रुकें।
4) दर्द मुक्त आँकड़े
नमूना और अवधि: बेसलाइन vCTR/CR और कम MDE, अधिक यातायात और परीक्षण जितना लंबा होगा।
समाधान के लिए मीट्रिक: क्रिएटिव में - अधिक बार वीसीटीआर, लेकिन अंतिम समाधान सीआर/सीपीए तक उठाना है, अगर पोस्ट-क्लिक है।
रिपोर्ट में हमेशा विश्वास अंतराल दिखाएं; 1-2 दिनों के लिए निष्कर्ष से बचें।
मल्टीसेक्शंस: यदि> 2 विकल्प, बोनफेरोनी/एफडीआर योजना का उपयोग करें, या जोड़े में परीक्षण करें।
अनुक्रमिक परीक्षण/प्रारंभिक स्टॉप: सीमाओं को लागू करें (उदा। ओ 'ब्रायन-फ्लेमिंग) अगर उपकरण ऐसा कर सकता है।
डाकू बनाम ए/बी: डाकू एक स्थिर लक्ष्य के साथ विजेता के ऑटो-शोषण के लिए उपयुक्त हैं; उत्पाद अंतर्दृष्टि, रचनात्मक विश्लेषण और अभिलेखागार के लिए - क्लासिक ए/बी अधिक पारदर्शी है।
5) यातायात गुणवत्ता नियंत्रण
एंटी-बॉट फिल्टर: संदिग्ध रूप से उच्च गति, देखने की क्लिक के बिना, असामान्य उपयोगकर्ता एजेंट/आईपी।
ब्रांड सुरक्षा: साइट/कीवर्ड बहिष्करण, नकारात्मक प्लेलिस्ट।
भू/उपकरण: उन खंडों में परीक्षण करें जहां आप स्केल करने की योजना बनाते हैं।
आवृत्ति कैपिंग: उपयोगकर्ता द्वारा प्रदर्शन की आवृत्ति को सीमित करें (उदाहरण के लिए, 3-5/दिन), अन्यथा "थकान" परिणाम को विकृत कर देगा।
6) रचनाकारों का रोटेशन और "थकान"
थकान सीमा: स्थिर देखने और कवरेज के साथ वीसीटीआर में 30-40% की गिरावट - घूमने के लिए एक संकेत।
रोटेशन कैलेंडर: हर हफ्ते vCTR/प्लेसमेंट ट्रेंड की जाँच करें; 6-12 विविधताओं का एक पूल रखें (मैट्रिक्स प्रस्ताव × दृश्य × सीटीए)।
परिणाम अपघटन: समय के साथ विजेताओं के "व्यंजनों" को इकट्ठा करने के लिए स्टोर फैक्टर संकेत (प्रस्ताव, दृश्य, सीटीए, रंग, लेआउट)।
7) एंड-टू-एंड प्रक्रिया
1. योजना (सोमवार): परिकल्पना समिति (विपणन + डिजाइन + विश्लेषक)। हम एक सप्ताह के लिए 2-4 परिकल्पनाओं का चयन करते हैं।
2. उत्पादन (1-3 दिन): सभी प्रारूपों के लिए डिजाइन पैकेज, क्यूए चेकलिस्ट (सीटीए कंट्रास्ट, वजन, सुरक्षित-क्षेत्र, अनुपालन)।
3. प्रारंभ: यातायात 50/50 (या 33/33/33) का वितरण; खंडों को ठीक करना, लॉग को सक्षम करना।
4. निगरानी: दैनिक पवित्रता जांच (निर्णय लिए बिना): छापों, देखने की क्षमता, बॉट झंडे का हिस्सा।
5. विश्लेषण (सप्ताह का अंत/शक्ति तक पहुंचने पर): अंतराल पर रिपोर्ट, मोबाइल/डेस्कटॉप सबसैम्पल, स्पष्टीकरण।
6. समाधान: विजेता - ऑपरेशन के लिए, हारने वाला - संग्रह के लिए; हम अंतर्दृष्टि के आधार पर निम्नलिखित परिकल्पना बनाते
7. पुरालेख: प्रयोग कार्ड + रचनात्मक फ़ाइलें + sql क्वेरी रिपोर्ट + फिर से शुरू करें।
8) डेटा और डैशबोर्ड: क्या स्टोर करना है और कैसे देखना है
मिनी डिस्प्ले केस मॉडल (दिन/रचनात्मक/खंड द्वारा):
तिथि, अभियान, भू, उपकरण, प्लेसमेंट, प्रारूप, creative_id, प्रस्ताव, दृश्य, cta, संस्करण,
छाप, , क्लिक, vctr, , , , सबमिट करें, खरीद, , , , ,
डैशबोर्ड:
- प्री-क्लिक: दृश्यता, वीसीटीआर, आवृत्ति, पहुंच, प्लेसमेंट कार्ड।
- पोस्ट-क्लिक: फ़नल पिच, सीसा/सीपीए गुणवत्ता द्वारा सीआर।
- प्रयोग: आत्मविश्वास अंतराल की सीढ़ी, प्रभाव का समय, खंडों की हवा गुलाब।
9) क्यूए और लॉन्च चेकलिस्ट
- प्रारूप: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; मोबाइल 320 × 100/50, 1:1, 4:5, 16:9, 9:16
- वजन ≤ 150-200 KB (स्थिर/HTML5), WebP/PNG, "भारी" GIF के बिना
- CTA कंट्रास्ट (WCAG), सुरक्षित क्षेत्र (किनारे से px)
- कोई क्लिकबैट/वादा नहीं, सही अस्वीकरण
- : देखने योग्य, क्लिक, lpview, , , सबमिट करें
- उपयोगकर्ता द्वारा यादृच्छिक, ए/बी छापों का स्पष्ट अनुपात
- एंटी-बॉट फ़िल्टर सक्षम, प्लेसमेंट अपवाद कॉन्फ़िगर
10) परिकल्पना पुस्तकालय: क्या परीक्षण करना है
प्रस्ताव:- "पारदर्शी बोनस शब्द" बनाम "एक पृष्ठ पर सभी शब्द"
- "पंजीकरण के बिना डेमो" बनाम "दृश्य इंटरफ़ेस"
- "देखें शर्तें" बनाम "सीखें विवरण"
- "ओपन डेमो" बनाम "अब कोशिश करें"
- दृश्य/नायक बनाम स्क्रीन इंटरफ़ेस बनाम आइकनोग्राफी
- गर्म पृष्ठभूमि बनाम तटस्थ; रूपरेखा बटन बनाम भरें
- शीर्ष-बाएं लोगो बनाम कॉम्पैक्ट; सीटीए राइट बनाम बॉटम
- हेडलाइन के तहत CTA बनाम पर ट्रस्ट बैज
- चिकनी फीका-इन PTC बनाम पल्स CTA स्ट्रोक (≤12 c, 2-3 चरण)
11) निर्णय नियम
महत्व सीमा: p≤0। 05 और/या पूरे आत्मविश्वास अंतराल> 0 एमडीई लैंडमार्क पर।
सामान्य ज्ञान की सीमा: यदि कोई वीसीटीआर जीत है, लेकिन सीआर/सीपीए ने उकसाया है, तो हम रोल आउट नहीं करते हैं।
खंड विजेता: यदि अंतर केवल मोबाइल/जियो - रोल आउट लक्षित पर महत्वपूर्ण है।
नैतिकता: हम जोड़ तोड़ पाठ/क्लिकबैट की कीमत पर जीत को स्वीकार नहीं करते हैं।
12) एंटी-पैटर्न (जो सिस्टम को तोड़ ता है)
एक परीक्षण में कई कारक - कोई निष्कर्ष नहीं।- निर्णय "2 दिनों के लिए समय पर।"
- एक प्रयोग में चैनल (विभिन्न दर्शकों) का मिश्रण।
- देखने की कमी - मृत vCTR।
- प्रयोगों का कोई संग्रह नहीं है - त्रुटियों की पुनरावृत्ति और "शाश्वत साइकिल"।
- छापों की आवृत्ति - "पहले ध्यान" के कारण नकली जीत को ध्यान में नहीं रखा जाता है।
13) 30/60/90-कार्यान्वयन योजना
0-30 दिन - सिस्टम एमवीपी
परिकल्पना टेम्पलेट, नामकरण, क्यूए चेकलिस्ट।- घटनाओं का आरेख और डैशबोर्ड प्री/पोस्ट-क्लिक।
- 1-2 प्रयोग: एक प्रमुख प्रारूप (300 × 250/320 × 100) में प्रस्ताव और सीटीए।
- देखने योग्यता और एंटी-बॉट फ़िल्टर सक्षम करें।
31-60 दिन - गहरा होना
सभी प्रारूपों और शीर्ष प्लेसमेंट में विस्तार; HTML5 वेरिएंट जोड़ें।
रोटेशन नियमों और "थकान" थ्रेसहोल्ड को लागू करें।- डिवाइस/साइट, विजेताओं के खंड किकआउट द्वारा स्तरीकरण का परिचय दें।
61-90 दिन - परिपक्वता
प्रयोगों और कारक आधार का संग्रह (प्रस्ताव/दृश्य/सीटीए)।- ऑटो-प्रश्नावली संक्षिप्त + अर्ध-मानक लेआउट (रचनात्मक डिजाइन प्रणाली)।
- मासिक रिपोर्ट: परीक्षणों का आरओआई, विजेताओं का%, सीआर/सीपीए में योगदान।
- स्थिर खंडों में विजेताओं के ऑटो-शोषण के लिए डाकुओं का पायलट।
14) मिनी टेम्पलेट (कॉपी पेस्ट के लिए तैयार)
परिकल्पना टेम्पलेट
जारी: GEO {X} में मोबाइल पर vCTR कम
विचार: दृश्य को स्क्रीन इंटरफ़ेस + CTA "ओपन डेमो" के साथ दृश्य के साथ बदलें
एमडीई: + 8% к vCTR
मेट्रिक्स: वीसीटीआर (प्राथमिक), सीआर (माध्यमिक), सीपीए (नियंत्रण)
खंड: मोबाइल, प्रारूप 320 × 100/1: 1
जोखिम: पोस्ट-क्लिक ड्रॉप; घटना एलपी जाँच
योग कार्ड
A: vCTR 1। 22% [1. 15; 1. 29], सीआर 4। 1%
B: vCTR 1। 34% [1. 27; 1. 41], सीआर 4। 3%, CPA ↓ 6%
निर्णय: बी जीता। रोलआउट: मोबाइल GEO {X}, 100%
टिप्पणी: प्रभाव Y/Z प्लेसमेंट पर मजबूत है
ए/बी बैनर परीक्षण प्रणाली एक "बटन रंग" नहीं है, लेकिन विषयों का एक सेट है: सही मैट्रिक्स (देखने की क्षमता → vCTR → पोस्ट-क्लिक), शुद्ध यादृच्छिक, कठोर क्यूए, यातायात गुणविधि नियम और पारहित्य। परिकल्पनाओं की एक पाइपलाइन का निर्माण करें, एक संग्रह और कारक आधार बनाए रखें - और रचनात्मकता एक लॉटरी बन जाएगी: आप लगातार विज्ञापन की प्रभावशीलता बढ़ाएंगे और अनुमानित चरणों में सीपीए को कम करेंगे।