איך לבנות כרזה מערכת בדיקות A/B

דגל ”בר מזל” אחד לא עושה את המערכת. מערכת הניסויים A/B היא צינור ייצור קצר של אפשרויות * בקרה על התרשמות * אוסף של מדדים נכונים * statistics _ solution # ach archive ach scaling. להלן הסט המינימלי של תהליכים וחפצים לבדיקות כדי להתרבות ולהרוויח.

1) מטרות ומדדים: מה שאנו מייעלים

Delute pre-click ו-post-click matrics - אחרת תוכל ”לשנות” CTR במחיר של תנועת זבל.

טרום לחיצה:

יכולת צפייה.
VCTR = קליקים/רושם גלוי (מטרי ראשי ליצירתיות).
תדירות והגעה (לשלוט ב ”עייפות”).
מיקס-מיקום (פלטפורמות/פורמטים).

לאחר לחיצה:

נחיתה CTR (פעולה ראשונה), LPV/groll, אירוע מפתח CVR.
זמן לפעולה ראשונה, כישלון, איכות עופרת/סדר.
משפך מטה (אם הוא זמין): הפקדה/רכישה/חזרה.

הגבלות/מדיניות (YMIL/הימורים, פינטק וכו '):

אין הבטחות ל ”תוצאה מובטחת”, כבוד לאחראי/משפטי.
CTAs ניטראלי (”View Monts”, ”Open Demo”), מכריזים במקום הדרוש.

2) ארכיטקטורה ניסיונית:

1. כללי ההיפותזה (template): problem _ idex affect (MDE) ac metrics ac.metrics ac.

2. שמות וסיפורי קבצים/קודים:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02. webp

3. טבלת ניתוב תנועה: הצבה של קבוצה A/B * נתח תצוגה.

4. Pageview, cta_click, form_start, form_error, הגשה, רכישה.

5. שכבת אחסון והכנה: רישומים גולמיים = נורמליזציה (דה-דאפ, מסנני אנטי-בוט).

6. לוחות מחוונים: לפני לחיצה, לאחר לחיצה, דו "ח אינטגרלי על הניסוי.

7. ארכיון החלטות: hypothesis persion ach dismage = p-value/security interformal _ discription # rollout.

3) עיצוב A/B: כללי סיבתיות טהורים

שינוי גורם 1 בכל פעם (הצעה או ויזואלית או CTA).

אקראיות על ידי משתמש ולא על ידי תצוגה (עוגייה/אואיד) כך שאדם אחד לא רואה את שתי האפשרויות בהפעלה.

סטרטיפיקציה (על ידי אתר/פורמט/התקן) אם הם משפיעים בצורה חזקה על vCTR.

מבחן = שבועות שלמים לכיסוי העונות ביום.

תיקון MDE (אפקט ניתן לזיהוי מינימלי) לפני התחלה: לדוגמה, ברצוננו ללכוד + 8% ל ־ VCTR.

מצב עצירה: הגיע לכוח הסטטיסטי הנדרש ומשך ימים N. אל תעשה ”ציוץ” ואל תפסיק מוקדם.

4) סטטיסטיקות ללא כאב

דגימה ומשך זמן: ככל שקו הבסיס נמוך יותר vCTR/CR וככל שה-MDE נמוך יותר, כך הבדיקה ארוכה יותר.

מטרי לפתרון: ביצירות - לעתים קרובות יותר vCTR, אבל הפתרון הסופי הוא להעלות ל CR/CPA, אם יש פוסט-קליק.

תמיד להראות מרווחי ביטחון בדו "ח; להימנע ממסקנות במשך 1-2 ימים.

Multisquences: אם> 2 אפשרויות, השתמש בתוכנית Bonferroni/FDR, או בחן בזוגות.

מבחנים רציפים/עצירות מוקדמות: הפעלת גבולות (למשל או 'בריאן-פלמינג) אם הכלי יכול לעשות את זה.

שודדים נגד A/B: שודדים מתאימים לניצול אוטומטי של המנצח עם מטרה יציבה; עבור תובנות מוצר, אנליטיקה יצירתית וארכיונים - קלאסי A/B הוא יותר שקוף.

5) בקרת איכות תנועה

מסנני אנטי-בוט: מהירות גבוהה באופן חשוד, קליקים ללא יכולת צפייה, סוכן משתמש/IP חריג.

בטיחות מותג: אתר/מילת מפתח בלעדיות, רשימת השמעה שלילית.

Geo/התקן: בחן בקטעים שבהם אתה מתכנן בקנה מידה.

תדירות: הגבלת תדירות התצוגה על ידי המשתמש (לדוגמה, 3-5/יום), אחרת ”עייפות” תעוות את התוצאה.

6) סיבוב ו ”עייפות” של הבריאתנים

סף עייפות: ירידה ב-VCTR ב-30-40% עם יכולת צפייה וכיסוי יציבים - אות לסיבוב.

לוח שנה סיבוב: בדוק מגמות vCTR/מיקום כל שבוע; שמור מאגר של 6-12 וריאציות (מטריצות מציעות × ויזואלית × CTA).

תוצאה של פירוק: שלטי גורם אחסון (הצעה, ויזואלית, cta, צבע, פריסה) על מנת לאסוף ”מתכונים” של הזוכים לאורך זמן.

7) תהליך מקצה אל קצה

1. ועדת ההיפותזה (שיווק + עיצוב + אנליסט). אנחנו בוחרים 2-4 השערות לשבוע.

2. ייצור (1-3 ימים): חבילות עיצוב לכל הפורמטים, רשימת QA (ניגוד CTA, משקל, אזור בטוח, ציות).

3. התחלה: התפלגות התנועה 50/50 (או 33/33/33); תיקון מקטעים, מתן יומנים.

4. ניטור: בדיקת שפיות יומית (ללא קבלת החלטות): נתח של רושם, השקפה, דגלי בוט.

5. אנליזה (סוף השבוע/עם הגעת הכוח): דיווח במרווחים, תת-אמצעים ניידים/שולחן עבודה, הסברים.

6. פתרון: מנצח - לתפעול, מפסיד - לארכיון; אנו יוצרים את ההשערה הבאה בהתבסס על תובנות.

7. ארכיון: כרטיס ניסוי + קבצים יצירתיים + תעודה שאילתה sql + קורות חיים.

8) נתונים ולוחות מחוונים: מה לאחסן ואיך לצפות

מודל תצוגה מיני (ביום/יצירתי/קטע):


תאריך, קמפיין, גיאו, מכשיר, מיקום, פורמט, creative_id, הצעה, ויזואלית, cta, וריאנט,
רשמים, , קליקים, וידיאו, , , , הגשה, רכישות,

לוחות מחוונים:

לחץ מראש: יכולת צפייה, vCTR, תדר, הגעה, כרטיסי מיקום.
פוסט-קליק: CR על ידי הגשת משפך, איכות עופרת/רו "ח.
ניסויים: סולם של מרווחי ביטחון, זמן לתוצאה, רוח עלתה של מקטעים.

9) QA ורשימת ההשקה

[ ] פורמטים: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; ניידת 320 × 100/50, 1:1, 4:5, 16:9, 9:16

משקל [ ] 150-200 KB (סטטי/HTML5), WebP/PNG, ללא ”כבד” GIFS

[ ] ניגוד CTA (WCAG), אזורים בטוחים (24 px מקצה)

[ ] אין קליקבאייט/הבטחות, מכריזים נכונים

Tastress: ניתן לצפות, ללחוץ, ipview, , להגיש

[ ] אקראיות על ידי משתמש, פרופורציה ברורה של רושם A/B

[ ] מסנני אנטי-בוט הופעלו, המיקום יוצא מן הכלל הוגדר

10) ספריית השערות: מה לבחון

הצעה:

מונחי בונוס שקופים נגד כל התנאים בעמוד אחד
”דמו ללא רישום” נגד ”ממשק תצוגה”

CTA:

‏ ”צפה במונחים” לעומת ”למד פרטים” ‏
”פתח דמו” נגד ”נסה עכשיו”

ויזואלית:

סצנה/גיבור נגד ממשק המסך נגד איקונוגרפיה
רקע חם נגד נייטרלי; כפתור מתאר נגד מילוי

קומפוזיציה:

הלוגו השמאלי העליון נגד קומפקטי; CTA ימינה נגד תחתית
תג אמון בסי-טי-איי-איי נגד תחת הכותרת

מיקרו-תנועה (HTML5):

דעיכה חלקה של PTC נגד שבץ CTA פולס (סימון 12 C, 2-3 פאזות)

11) כללי החלטה

סף משמעות: p על פי 0. 05 ו/או מרווח ביטחון מלא> 0 בציון דרך MDE.

גבול השכל הישר: אם יש ניצחון של vCTR, אבל CR/CPA ירד, אנחנו לא מתגלגלים החוצה.

מנצחים: אם ההבדל משמעותי רק בנייד/GEO - גלגל החוצה ממוקד.

אתיקה: אנחנו לא מקבלים זכיות במחיר של טקסט מניפולטיבי/קליקביט.

12) אנטי דפוסים (ששובר את המערכת)

גורמים רבים בבדיקה אחת = אין מסקנות.

החלטות ”לפי לוח זמנים 2 ימים”.

ערבוב ערוצים (קהל שונה) בניסוי אחד.

חוסר יכולת צפייה * vCTR מת.

אין ארכיון של ניסויים * חזרה על טעויות ועל ”האופניים הנצחיים”.

תדירות ההתרשמות = ניצחונות מזויפים בשל ”תשומת לב ראשונה” אינה נלקחת בחשבון.

13) 30/60/90-תוכנית יישום

0-30 ימים - MVP מערכת

תבנית השערה, שמות, רשימת שאלות ותשובות.

תרשים אירועים ולוח מחוונים לפני/פוסט-קליק.

1-2 ניסויים: להציע ו CTA בפורמט מפתח (300 × 250/320 × 100).

אפשר תצפית ומסנני אנטי-בוט.

31-60 ימים - העמקה

להרחיב לכל הפורמטים ומיקומים עליונים; הוספת וריאנטים של HTML5.

יישום תקנות סיבוב ו ”עייפות” סף.

הצג סטרטיפיקציה על ידי התקן/אתר, קטע פתיחה של הזוכים.

61-90 ימים - בגרות

ארכיון של ניסויים ובסיס גורם (הצעה/ויזואלית/cta).

תקציר שאלון אוטומטי + פריסות סטנדרטיות למחצה (מערכת עיצוב יצירתי).

דו "ח חודשי: ROI של מבחנים,% הזוכים, תרומה ל CR/CPA.

טייס שודדים לניצול אוטומטי של מנצחים במקטעים יציבים.

14) תבניות מיני (מוכן להדבקה עותק)

תבנית השערה


גיליון: vCTR נמוך בנייד ב ־ GEO [X]
רעיון: להחליף ויזואלית עם סצנה עם ממשק מסך + CTA ”פתח דמו”
MDE: + 8% LOVCTR
Metrics: vCTR (ראשי), CR (משני), CPA (בקרה)
מקטעים: נייד, פורמטים 320 × 100/1: 1
סיכונים: ירידה לאחר לחיצה; בדיקת LP של האירוע

כרטיס סה "כ


א: vCTR 1. 22% [1. 15; 1. 29 ], סי-אר-4. 1%
ב: vCTR 1. 34% [1. 27; 1. 41 ], סי-אר-4. 3%, רואה חשבון 6%
החלטה: ב 'ניצח. Rollout: GEO נייד, 100%
הערה: ההשפעה חזקה יותר על מיקום Y/Z

מערכת בדיקות באנר A/B אינה ”צבע כפתור”, אלא סט של דיסציפלינות: מדדים נכונים (צפייה ב-vCTR), אקראיות טהורה, QA קשיח, בקרת איכות תנועה, תקנות סיבוב ופתרונות שקופים. לבנות צינור של היפותזות, לשמור על ארכיון וגורם בסיס - ויצירתיות תחדל להיות הגרלה: תגדיל באופן עקבי את יעילות הפרסום ותפחית את הרואי חשבון בצעדים צפויים.