स्कोरिंग नियमों का ए/बी परीक्षण

स्कोरिंग किसी भी गेमिफिकेशन का दिल है। वास्तव में अंक कैसे गिने जाते हैं यह खिलाड़ी व्यवहार, भागीदारी संरचना और अर्थशास्त्र (ARPPU, बोनस हड्डियों) को निर्धारित करता है। नीचे नए बिंदुओं के नियम का वैध परीक्षण करने और यह सुनिश्चित करने के लिए एक व्यावहारिक नुस्खा है कि मीट्रिक विकास वास्तविक है, न कि एक कलाकृति।

1) वास्तव में हम क्या परीक्षण कर रहे हैं

नियमों के उदाहरण:

शर्त राशि से: प्रत्येक €1 शर्त के लिए 1 बिंदु।
जीत/शर्त गुणक द्वारा: अंक = ⌊ गुणक × k ⌋, एक टोपी प्रति शर्त के साथ।
हाइब्रिड: "सीरीज़" के लिए प्रति टर्नओवर + बूस्ट (एक पंक्ति में एन स्पिन), कैप प्रति मिनट/घंटे।
मिशन: बढ़ ती जटिलता के साथ कार्यों (T1...Tn) को पूरा करने के लिए अंक तय करें।

परिकल्पना (उदाहरण): "गुणक + कैप मॉडल नेट ARPPU (पुरस्कार/बोनस के बाद) बिगड़े बिना - और पूरा होने की दर में वृद्धि करेगा।"

2) प्रायोगिक इकाई और यादृच्छिककरण

इकाई: उपयोगकर्ता (सत्र नहीं, उपकरण नहीं)।

वितरण: निश्चित लवण के साथ स्थिर हैश (user_id → बाल्टी); 50/50 के अंश या A/B/C के लिए 33/33/33।

स्तरीकरण (अनुशंसित): भुगतानकर्ता-स्थिति (नया भुगतान/पुन: भुगतान/गैर-भुगतान), मंच, भू।

स्टिकी-असाइनमेंट: उपयोगकर्ता हमेशा परीक्षण के दौरान एक ही नियम देखता है।

परीक्षण एसआरएम (नमूना अनुपात मिसमैच) - अपेक्षित लोगों (ची-स्क्वायर) के खिलाफ समूहों के वास्तविक शेयरों की जांच करें। एसआरएम - ट्रैफिक लीक सिग्नल, गलत फ़िल्टरिंग, बग।

3) मेट्रिक्स और "अंक की फ़नल"

गतिविधि और भागीदारी

पहुंच: घटना को किसने देखा, शेयर करें।

Participation_gross: दर्ज/वैकल्पिक।

Participation_net: प्रगति/आदर्श शुरू किया।

समापन: पूर्ण/प्रारंभ।

गुणवत्ता और धन

IDAU/WAU и स्टिकनेस (DAU/WAU)।

Avg Bets प्रति सत्र, Avg Bet आकार।
ARPPU (नेट) = ARPPU − (पुरस्कार + बोनस लागत प्रति भुगतानकर्ता)।
Avg डिपॉजिट, भुगतान शेयर।
नेट उत्थान: (अतिरिक्त राजस्व) − (पुरस्कार + बोनस + ऑपरेटिंग + धोखाधड़ी लीक)।

गार्डेरिल्स

1,000 उपयोगकर्ताओं के लिए शिकायत/तकनीकी समर्थन, केवाईसी इनकार, असामान्य सट्टेबाजी पैटर्न, आरजी झंडे (सीमा, आत्म-बहिष्कार)।

4) अवधि, मौसमी और नवीनता

न्यूनतम 2 पूर्ण व्यावसायिक चक्र (जैसे) सप्ताहांत पर कब्जा करने के लिए 2 सप्ताह)।

नवीनता-प्रभाव पर विचार करें: पहले 48-72 घंटों का छींटा। चरणों (D0-D2, D3-D7, D8 +) में फिक्स और विश्लेषण करें।

बड़े प्रोमो के साथ पार न करें, या समूहों में "समान शोर" की योजना न बनाएं।

5) नमूना क्षमता और मात्रा (गणना उदाहरण)

लक्ष्य: प्रति उपयोगकर्ता औसत "अंक" (या नेट ARPPU) द्वारा the में अंतर का पता लगाने के लिए।

दो-नमूना टी-परीक्षण के लिए सूत्र (समान रूप से समूहों में):

[
n_{\text{na समूह} = × frac {2, (z_{1-\alpha/2}+z_{1-\beta}) ^ 2, łsigma ^ 2} {łdelta ^ 2}
]

उदाहरण: हम the = 5 अंक, the = 120, é = 0 को पकड़ ना चाहते हैं। 05 (दो तरफा), बिजली 80% (0 = 0। 2).

(z_{1-α/2}=1{,}96), (z_{1-β}=0{,}84) → योग 2। 8 → वर्ग 7। 84.

(łsigma ^ 2 = 14,400)।

(n = é frac {2 गुना 7 {,} 84 é time 14,400} {25} wwwaxx × frac {225,792} {25} लगभग 9,032) प्रति समूह।

💡 कुल: ~ 9,100 उपयोगकर्ता प्रति समूह (अस्वीकृति और एंटीफ्राड के लिए मार्जिन के साथ)।

6) फैलाव को कम करना: परीक्षण को "सस्ता" बनाना

CUPED: पूर्व-परीक्षण सहसंयोजक के लिए प्रतिगमन समायोजन (उदाहरण के लिए, पिछले सप्ताह के लिए अंक/दरें)।

Covariates: भुगतानकर्ता-ध्वज, कारोबार के लॉग-रूपांतरण, गतिविधि, मंच, भू।

क्लस्टरिंग में त्रुटि: उपयोक्ता स्तर पर (भीतर दोहराया सत्र)।

7) हस्तक्षेप और "जलडमरूमध्य"

अंक नियम केवल परीक्षण प्रतिभागियों से अधिक को प्रभावित कर सकता है

सामाजिक तुलना (आम नेता बोर्ड) → "स्पिलओवर"।

साझा जैकपॉट/संयुक्त मिशन - क्रॉस प्रभाव।

समाधान:

समूह या बिन्दुओं के छिपे हुए सामान्यीकरण द्वारा अलग लीडरबोर्ड।
ट्रैफिक/जियो क्लस्टर (अधिक महंगा लेकिन क्लीनर) द्वारा क्लस्टर यादृच्छिक।
प्रति-प्रोटोकॉल (ITT) + संवेदनशील assays।

8) एंटीफ्राड और नियमों के मुंह

चश्मे में कोई भी बदलाव अनुकूलन को उत्तेजित करता है: सूक्ष्म दांव, बोटोवोडस्टोवो, "चश्मा खेत।"

न्यूनतम सुरक्षा:

कैप पॉइंट प्रति मिनट/घंटे/दिन और एक शर्त के लिए।
दांव की न्यूनतम अस्थिरता ("आदर्श" अनुक्रमों का निषेध)।
हेडलेस/दोहराए गए उंगलियों के निशान, प्रॉक्सी का पता लगाना।
बड़े पुरस्कारों का विलंबित सत्यापन + केवाईसी।
एनालिटिक्स: "अंक/दांव" और "अंक/मिनट" वितरण की तुलना करें, पूंछ की तलाश करें।

9) घटनाओं और डेटा योजना (न्यूनतम)

घटनाएँ:

'session _ start {user_id, ts, platform}'
'event _ view {user_id, event_id, ts}'
'event _ joint {user_id, event_id, ts}'
'पॉइंट _ सम्मानित {user_id, event_id, rule_id, राशि, स्रोत, ts}'
'mission _ proversion {user_id, mission_id, चरण, मूल्य, ts}'
'mission _ पूर्ण {user_id, mission_id, ts}'
'bet {user_id, game_id, शर्त, जीत, ts}'
'डेपोसिट {user_id, राशि, ts}'

संदर्भ पुस्तकें:

'रूल्स {rule_id, नाम, परम, caps_minute, caps_hour, caps_day, संस्करण}'
'असाइनमेंट {user_id, test_id, समूह, assigned_at}'

10) विश्लेषण के लिए SQL स्केच

एसआरएम जाँच (समूह आबंटन):

sql
चुनें समूह, COUNT () उपयोगकर्ताओं के रूप में
नियुक्तियों से
कहां test_id =: परीक्षण
समूह द्वारा समूह;
- आगे की ची-चुकता बनाम अपेक्षित भिन्न

समूह द्वारा भागीदारी/पूर्णता:

sql
पात्र के रूप में (
उपयोक्ताओं से user_id चुनें
व्हेयर last_active_at> =: प्रारंभ - इंटरवल '14 दिन'
), एएस में शामिल हुए (
चुनें विशिष्ट user_id से event_join
व्हेयर =: इवेंट एंड टीएस बीच: स्टार्ट एंड: एंड: एंड
), एएस शुरू किया (
चुनें विशिष्ट user_id से mission_progress
जहां TS बीच: शुरुआत और: अंत और mission_id IN (: मिशन)
), एएस पूरा किया (
चुनें विशिष्ट user_id से mission_complete
जहां TS बीच: शुरुआत और: अंत और mission_id IN (: मिशन)
)
चुनें ए। समूह, गणना (DISTNT j।  (DISTNT e.) AS , COUNT (DISTNT s। ) AS, COUNT (DISTNT c।  (COUNT (DISTNT s।) पूरा होने के रूप में
पात्र ई से
JINT असाइनमेंट एक USING (user_id)
LEME JINT J USING (user_id
LEME JINT ने s का उपयोग करना शुरू किया
LEME JINT पूरा C USING
जहां a। test_id =: परीक्षण
समूह द्वारा ए। समूह;

शुद्ध ARPPU और पुरस्कारों/बोनस का मूल्य:

sql
भुगतानकर्ताओं के साथ एएस (
भुगतान से विशिष्ट का चयन करें
जहां TS बीच: शुरू और: अंत
), रेव एएस (
चुनें user_id, SUM (ggr) AS ggr
राजस्व से
जहां TS बीच: शुरू और: अंत
समूह द्वारा user_id
), लागत एएस (
चुनें user_id, लागत के रूप में SUM (पुरस्कार + बोनस)
promo_costs से
जहां TS बीच: शुरू और: अंत
समूह द्वारा user_id
)
समूह का चयन करें, AVG (COLESCE (r) gggr, 0) - COLESCE (c) लागत, 0)) FILTER (जहाँ p। user_id IS NULL नहीं है) के रूप में net_arppu
नियुक्तियों से
लेफ्ट ज्वाइन भुगतानकर्ता p USING (user_id)
LEME JINT ree r USING (user_id)
LEME JINT की लागत c USING (user_id
जहां a। test_id =: परीक्षण
समूह द्वारा ए। समूह;

कैप्ड (उदाहरण):

sql
- pre_value: चश्मा/पूर्व-परीक्षण राजस्व; मूल्य: परीक्षण के
चयन समूह, AVG (मूल्य - थीटा pre_value) AS cuped_mean
से (
चयन करें ए। समूह, , x.value, , (SELECT  (मूल्य,  )/  ()
एक्स से) थीटा के रूप में
नियुक्तियों से
JINT X ON  = a।
जहां a। test_id =: परीक्षण
) टी
समूह द्वारा समूह;

11) आंशिक प्रभाव और विषमता

HET प्रभाव जाँचें:

शुरुआती बनाम कोर, कम-मूल्य बनाम उच्च-मूल्य, विभिन्न प्लेटफार्म/भू।
कभी-कभी चश्मे का नया सूत्र व्हेल को बदले बिना मध्य-कोर को "रोशन" करता है - यह वांछित परिणाम है।
प्री-रजिस्टर सेगमेंट ताकि "पी-हैकिंग" को न पकड़ा जा सके।

12) लगातार जाल

1. सभी समूहों के लिए एक सामान्य नेता बोर्ड - हस्तक्षे

2. परीक्षण के दौरान पुरस्कार संरचना को बदलना - अतुलनीयता।

3. चश्मे का माइक्रो-सट्टेबाजी - अवैध उत्थान।

4. ETL में SRM और फ्लोटिंग फिल्टर → पक्षपाती अनुमान।

5. पुरस्कारों/बोनस की कटौती के बिना "गंदे" ARPPU पर निर्भरता।

6. सही अनुक्रमिक आंकड़ों के बिना उतार-चढ़ाव के कारण प्रारंभिक पड

13) बेयस बनाम आवृत्ति और अनुक्रमिक निर्णय

ढांचा: आप बायेसियन दृष्टिकोण (मेट्रिक्स में पीछे के अंतर, संभावना "बी ए से बेहतर है") का उपयोग कर सकते हैं, खासकर समय के साथ निगरानी करते समय।

सावधानी: चश्मे के नियमों के लिए डाकू एक पुष्ट उत्थान के बाद उपयुक्त हैं - ऑपरेशन के चरण में, प्रारंभिक सत्यापन पर नहीं।

14) जिम्मेदार खेल और अनुपालन

पारदर्शी नियम और कैप: खिलाड़ी को यह समझना चाहिए कि वह अंक कैसे कमाता है।

गतिविधि और जमा सीमा, "ठहराव" और आरजी संकेत देता है।

खेलने की शैली के लिए कोई छिपा हुआ "दंड" नहीं।

15) मिनी केस (सिंथेटिक)

संदर्भ: साप्ताहिक घटना, ए = "दांव के लिए अंक", बी = "जीत/शर्त गुणक द्वारा अंक, कैप = 50/शर्त"।

आकार: 2 × 10,000 उपयोगकर्ता, भुगतानकर्ता की स्थिति से स्तरीकृत। एसआरएम - लगभग।

परिणाम:

Participation_net: 17,3% → B 22,1% (+ 4,8 п। п.) .
पूर्णता: 38,9% → B 44,0% (+ 5,1 п। п.) .
नेट ARPPU: A। 2 → B €43। 5 (+ €2. 3) पुरस्कार + बोनस प्रति भुगतानकर्ता ≈ €6 के साथ। 4 (अपरिवर्तित)।
Complaints/1k: अपरिवर्तित; धोखाधड़ी झंडे - कैप के कारण पीपी।
निष्कर्ष: नियम बी - विजेता; हम पुरस्कारों की "लंबी पूंछ" के साथ पैमाना करते हैं और माउथगार्ड को बचाते हैं।

16) अंक ए/बी लॉन्च चेकलिस्ट

यूनिट = उपयोगकर्ता, चिपचिपा-असाइनमेंट, स्तरीकरण।
हस्तक्षेप को हटाने के लिए अलग लीडबोर्ड/सामान्यीकरण।
चश्मा, एंटी-बॉट सिग्नल के लिए कैप साफ करें, प्रमुख विजेताओं को केवाईसी।
परिकल्पना और मेट्रिक्स का पूर्व-पंजीकरण (प्राथमिक/माध्यमिक/रेलिंग)।
क्षमता और अवधि योजना, मौसमी को ध्यान में रखा गया।
CUPED/covariates कनेक्टेड, पाइपलाइन SRM-अलर्ट।
"पहुंच भागीदारी प्रगति पूर्णता मूल्य।"
रिपोर्ट: पुरस्कार/बोनस, पूंछ के बाद के प्रभाव के बाद पैसे में वृद्धि।

स्कोरिंग नियम व्यवहार का एक लीवर है। खिलाड़ी के आत्मविश्वास और अभियान अर्थशास्त्र को बनाए रखते हुए एक सही ढंग से डिज़ाइन किया गया ए/बी परीक्षण (एसआरएम के बिना, धोखाधड़ी और सहसंयोजक के साथ) आपको भागीदारी, पूर्णता और नेट एआरपीयू को सुरक्षित करता है।