מבחני A/B של כללי ניקוד

ניקוד הוא הלב של כל משחק. האופן שבו נספרות נקודות קובע התנהגות שחקנים, מבנה השתתפות וכלכלה (ARPU, עצמות בונוס). להלן מתכון מעשי לבדיקת כלל הנקודות החדש ולוודא שצמיחה מטרית היא אמיתית, לא חפץ.

1) מה בדיוק אנחנו בוחנים

דוגמאות לחוקים:

על פי סכום הימור: 1 נקודה על כל הימור אירו 1.
על ידי מכפיל ניצחון/הימור: נקודות = ⌊ מכפיל × k ⌋, עם מכסה לכל הימור.
היברידי: נקודות לכל סיבוב + דחיפה עבור ”סדרה” (N ספינים ברצף), כיפות לדקה/שעה.
משימות: תיקון נקודות להשלמת משימות (T1...Tn) עם מורכבות הולכת וגוברת.

השערה (דוגמה): ”מודל המכפלה + קאפ יגדיל את קצב participation_net וההשלמה מבלי להחמיר את NET ARPU (אחרי פרסים/בונוסים)”.

2) יחידה ניסיונית ואקראית

יחידה: משתמש (לא הפעלה, לא התקן).

הפצה: חשיש סטטי (user_id ach depet) עם מלחים קבועים; שברים של 50/50 או 33/33/33 עבור A/B/C.

Stratification (מומלץ): payer-status (תשלום/תשלום מחדש/אי תשלום) חדש, פלטפורמה, geo.

משימה דביקה: המשתמש תמיד רואה את אותו הכלל במהלך הבדיקה.

Test SRM (Sample Ratio Mismatch) - בדוק את המניות של קבוצות באופן יומיומי מול אלה הצפויות (Chi-square). אות דליפת תנועה, סינון שגוי, חרקים.

3) מטריצות ו ”משפך הנקודות”

פעילות והשתתפות

הושט יד: חלק את מי שראה את האירוע.

Participation_gross: נכנס/אופציונלי.

Participation_net: התחיל התקדמות/אידיאלית.

השלמה: הושלמה/החלה.

איכות וכסף

דבקות DAU/WAU (DAU/WAU).

הימורים לכל הפעלה, גודל Avg.

ARPU (רשת) = ARPU - (פרס + עלות בונוס למשלם).

פיקדון אג, שיתוף תשלום.

Net Uplift: (הכנסות נוספות) - (פרסים + בונוסים + הפעלה + הדלפות הונאה).

גארדרילים

תלונות/תמיכה טכנית עבור 1,000 משתמשים, סירובי KYC, דפוסי הימורים חריגים, דגלי RG (גבולות, הרחקה עצמית).

4) משך, עונתיות וחידוש

מינימום 2 מחזורי עסקים מלאים (למשל: 2 שבועות לתפוס את סוף השבוע).

שקול אפקט חידוש: התזה של 48-72 השעות הראשונות. תיקון וניתוח בשלבים (D0-D2, D3-D7, D8 +).

אין לחצות עם פרומואים גדולים, או לתכנן ”רעש שווה” בקבוצות.

5) קיבולת דגימה ונפח (דוגמה לחישוב)

המטרה: לזהות את ההפרש ב-Transpare לפי ממוצע הנקודות למשתמש (או NET ARPU).

הנוסחה של מבחן t-שתי הדגימות (באופן שווה בקבוצות):

[
n_{\text{na קבוצה? =\frac ü2, (z_{1-\alpha/2}+z_{1-\beta}) ä2 ,\sigma _ 2
]

דוגמה: אנחנו רוצים לתפוס Transport = 5 נקודות, סיגנט = 120, = 0. 05 (דו-צדדי), כוח 80% (v = 0. 2).

(z_{1-α/2}=1{,}96), (z_{1-β}=0{,}84) # סכום 2. # 8 מרובע 7. 84.

(\sigma ı2 = 14,400).

(n =\frac {2\כפול 7}, 84\כפול 14,400 @ 25\\frac _ 225,792 @ 25\\aushx 9,032) לכל קבוצה.

💡 סה "כ: ~ 9,100 משתמשים לכל קבוצה (עם מרווח לדחייה ואנטי-פראוד).

6) הפחתת הפיזור: ביצוע המבחן ”זול יותר” ‏

CUPED: התאמת רגרסיה עבור covariates (לדוגמה, נקודות/קצב בשבוע האחרון).

קובריאטים: דגל התשלום, שינוי יומן של תחלופה, פעילות, פלטפורמה, גיאו.

שגיאה במקבץ: ברמת המשתמש (הפעלות חוזרות ונשנות בתוך).

7) הפרעות ו ”מיצרים” ‏

כלל הנקודות יכול להשפיע לא רק על משתתפי המבחן:

השוואה חברתית (לוח מנהיג משותף) = ”שפכים”.
חוטים משותפים/משימות משותפות.

פתרונות:

לוחות מובילים נפרדים על ידי קבוצה או נורמליזציה נסתרת של נקודות.
אשכול אקראי על ידי תנועה/אשכולות גיאו (יקר יותר אך נקי יותר).
לכל פרוטוקול (ITT) + בדיקות רגישות.

8) אנטיפראוד ושפתיים של כללים

כל שינוי במשקפיים מגרה אופטימיזציה: מיקרו-הימורים, בוטובודסטבו, ”חוות משקפיים”.

הגנות מינימליות:

נקודות ציון לדקה/שעה/יום והימור אחד.
תנודתיות מינימלית של הימורים (איסור על רצפים ”אידיאליים”).
זיהוי של טביעות אצבעות חסרות ראש/חוזרות ונשנות, פרוקסי.
אימות מושהה של פרסים גדולים + KYC.
אנליטיקה: השווה בין ”נקודות/הימורים” לבין ”נקודות/מין”, חפש זנבות.

9) אירועים וערכת נתונים (מינימום)

אירועים:

”sess _ start [user_id, ts, plater]”
event _ view [user_id, event_id, tt' s] "
”event _ להצטרף [user_id, event_id, tt' s]”
"points _ מוענק [user_id, event_id, rule_id, כמות, מקור, ts'
”smission _ progress [user_id, mission_id, צעד, ערך, t]”
”smission _ complete [user_id, mission_id, tt' s]”
'bet' user_id, game_id, הימור, לנצח, tt' s'
”תניח את זה user_id, כמות, t”

ספרי עיון:

”rules ' , שם, פרמס, , , גרסה”
"משימות [user_id, test_id, קבוצה, assigned_at}'

10) סקיצות SQL לניתוח

בדיקת SRM (הקצאת קבוצה):

sql
בחר קבוצה, רוזן () כמשתמשים
מן המשימות
איפה test_id =: מבחן
קבוצה אחר קבוצה;
- עוד צ 'י בריבוע לעומת שברים צפויים

השתתפות/השלמה לפי קבוצה:

sql
עם זכאים (
בחר user_id מהמשתמשים
איפה last_active_at> = התחלה - התערבות '14 יום &pos
), הצטרף כ (
בחר user_id נבדלים מ ־ event_join
איפה event_id =: אירוע ו ts בין: התחלה ו:
), התחיל כ (
בחר user_id נבדלים מ ־ mission_progress
איפה זה בין: להתחיל ו: סוף ו mission_id ב (: משימות)
), הושלם AS (
בחר user_id נבדלים מ ־ mission_complete
איפה זה בין: להתחיל ו: סוף ו mission_id ב (: משימות)
)
בחר A. קבוצה, COUNT (District J.  (Distinct e. ) כמו , רוזן (District s. ) בתור , רוזן (District
מתוך זכאי e
הצטרף למשימות באמצעות (user_id) ‏
שמאל להצטרף j שימוש (user_id)
הצטרפות שמאל החלה באמצעות (user_id)
הצטרפות שמאל הושלמה c שימוש (user_id)
איפה A test_id =:
קבוצה על ידי קבוצה;

NET ARPU וערך הפרסים/בונוסים:

sql
עם משכורות כמו (
בחר user_id נבדלים מתשלומים
איפה זה בין התחלה לסוף:
), REV AS (
בחר user_id, SUM (ggr) Aggr
מההכנסות
איפה זה בין התחלה לסוף:
קבוצה על ידי user_id
), עלויות AS (
בחר user_id, SUM (פרס + בונוס) כעלות
מתוך promo_costs
איפה זה בין התחלה לסוף:
קבוצה על ידי user_id
)
בחר A. קבוצה, AVG (פחם (r. ggr, 0) - פחם (c. עלות, 0) מסנן (איפה פ. user_id אינו בטל) כ net_arppu
ממטלות א "
שמאל להצטרף לשכר להשתמש (user_id)
הצטרפות שמאלה לכומר באמצעות (user_id)
הצטרפות שמאל עלויות c שימוש (user_id)
איפה A test_id =:
קבוצה על ידי קבוצה;

כתרים (דוגמה):

sql
- pre_value: הכנסות משקפיים/טרום בדיקה; ערך: במהלך מבחן
קבוצה נבחרת, AVG (ערך - טטה pre_value) כ cuped_mean
מ (
קבוצה, , x.value, , (SELECT  (ערך, )
מ x) כמו טטה
ממטלות א "
JOIN X ON x.user_id = A user_id
איפה A test_id =:
) t
קבוצה אחר קבוצה;

11) השפעות חלקיות והטרוגניות

בדוק את אפקטים HET:

מתחילים נגד ליבה, בעלי ערך נמוך נגד ערך גבוה, פלטפורמות/גיאו שונות.
לפעמים הנוסחה החדשה של משקפיים ”מאירה” באמצע הליבה מבלי לשנות את הלווייתנים - זו התוצאה הרצויה.
מגזרי קדם-רישום כדי לא לתפוס ”p-פריצה”.

12) מלכודות תכופות

1. לוח מנהיגות משותף לכל הקבוצות פי התערבות.

2. שינוי מבנה הפרס במהלך המבחן.

3. מיקרו-הימור של משקפיים = התרוממות לא תקפה.

4. SRM ומסננים צפים בהערכות מוטות של ETL.

5. להסתמך על ARPU ”מלוכלך” מבלי להסיק פרסים/בונוסים.

6. עצירה מוקדמת עקב תנודות ללא סטטיסטיקה רציפה נכונה.

13) בייס נגד תדירות והחלטות רציפות

מסגרת: ניתן להשתמש בגישה בייסיאנית (הפרש אחורי במדדים, הסתברות ”B טובה מ-A”), במיוחד כאשר ניטור לאורך זמן.

זהירות: שודדים עבור הכללים של משקפיים מתאימים לאחר התרוממות אושרה - בשלב של פעולה, לא באישור הראשוני.

14) משחק וציות אחראיים

חוקים וכובעים שקופים: השחקן חייב להבין איך הוא מרוויח נקודות.

פעילות והגבלות הפקדה, ”הפסקה” ו - ”אר-ג 'י”.

אין ”עונשים” נסתרים לסגנון המשחק.

15) מקרה מיני (סינתטי)

הקשר: אירוע שבועי, A = נקודות עבור הימור אירו 1, B = נקודות על ידי מכפיל ניצחון/הימור, cap = 50/הימור.

גודל: 2 × 10,000 משתמשים, מסומן על ידי מצב payer. SRM - אישור.

תוצאות:

Participation_net: A 17,3% * B 22,1% (+ 4,8. п.) .
השלמה: A 38,9% = B 44,0% (+ 5,1 mark. п.) .
NET ARPU: 41 אירו. □ 2 B 43 אירו. 5 (+ €2. 3) עם פרס + בונוס לכל משלם. 4 (ללא שינוי).
Complaints/1k: ללא שינוי; הדגלים הונאה 0,3 pp בשל כובעים.
מסקנה: כלל ב '- מנצח; אנחנו בקנה מידה עם ”הזנב הארוך” של פרסים ולהציל את שומרי הפה.

16) רשימת שיגור נקודות A/B

[ יחידה ] = משתמש, משימות דביקות, סטרטיפיקציה.

[ ] לוחות הנעה נפרדים/נורמליזציה להסרת הפרעות.

[ ] כובעים נקיים למשקפיים, אותות נגד רובוטים,

[ ] רישום מראש של השערות ומדדים (ראשי/משני/מעקות בטיחות).

[ קיבולת ] ותוכנית משך זמן,

[ ] CUPED/Covariates מחוברים, התראות SRM צינור.

[ ] Viestion ”Hack lach lach progress # Progression # Solution # Value”.

[ דו "ח ]: גידול בכסף לאחר פרסים/בונוסים, לאחר אפקט זנב.

כלל הניקוד הוא מנוף של התנהגות. מבחן A/B בתכנון נכון (ללא SRM, עם אנטי-הונאה וקובריאטים) מאפשר לך להגדיל בבטחה את ההשתתפות, השלמה ו-NET ARPU, תוך שמירה על אמון השחקנים וכלכלת הקמפיין.