Δοκιμές A/B των κανόνων βαθμολόγησης

Η βαθμολογία είναι η καρδιά κάθε gamification. Ακριβώς το πώς υπολογίζονται οι πόντοι καθορίζει τη συμπεριφορά των παικτών, τη δομή συμμετοχής και τα οικονομικά (ARPPU, bonus bones). Παρακάτω είναι μια πρακτική συνταγή για την έγκυρη δοκιμή του κανόνα των νέων σημείων και τη διασφάλιση ότι η μετρική ανάπτυξη είναι πραγματική, όχι ένα τεχνούργημα.

1) Τι ακριβώς ελέγχουμε

Παραδείγματα κανόνων:

Κατά ποσό στοιχήματος: 1 βαθμός για κάθε €1 στοίχημα.
Με πολλαπλασιαστή νίκης/στοιχήματος: πόντοι = ⌊ πολλαπλασιαστής × k ⌋, με ένα ανώτατο όριο ανά στοίχημα.
Υβρίδιο: βαθμοί ανά κύκλο εργασιών + ώθηση για «σειρές» (N περιστροφές στη σειρά), ανώτατα όρια ανά λεπτό/ώρα.
Αποστολές: καθορισμός σημείων για την ολοκλήρωση των εργασιών (T1...Tn) με αυξανόμενη πολυπλοκότητα.

Υπόθεση (παράδειγμα): «Το μοντέλο πολλαπλασιαστή + ανώτατου ορίου θα αυξήσει την participation_net και το ποσοστό ολοκλήρωσης χωρίς επιδείνωση της καθαρής ARPPU (μετά τα βραβεία/μπόνους)».

2) Πειραματική μονάδα και τυχαιοποίηση

Μονάδα: χρήστης (όχι συνεδρία, όχι συσκευή).

Κατανομή: στατικό χασίς (user_id → κουβάς) με σταθερά άλατα. κλάσματα 50/50 ή 33/33/33 για A/B/C.

Διαστρωμάτωση (συνιστώμενη): ιδιότητα πληρωτή (νέα πληρωμή/εκ νέου πληρωμή/μη πληρωμή), πλατφόρμα, γεω.

Ο χρήστης βλέπει πάντα τον ίδιο κανόνα κατά τη διάρκεια της δοκιμής.

Δοκιμή SRM (Αναντιστοιχία λόγου δείγματος) - Ελέγξτε τα πραγματικά μερίδια των ομάδων καθημερινά έναντι των αναμενόμενων (τετράγωνο chi). ΕΜΕ - σήμα διαρροής κυκλοφορίας, εσφαλμένο φιλτράρισμα, σφάλματα.

3) Μετρήσεις και «χοάνη σημείων»

Δραστηριότητα και συμμετοχή

Reach: share who was the event.

: είσοδος/προαιρετικό.

: ξεκίνησε την πρόοδο/ιδανικό.

Ολοκλήρωση: ολοκλήρωση/έναρξη.

Ποιότητα και χρήμα

ΔDAU/WAU и stickiness (DAU/WAU).

Στοιχήματα Avg ανά συνεδρία, μέγεθος στοιχήματος Avg.

ARPPU (καθαρό) = ARPPU − (βραβείο + κόστος μπόνους ανά πληρωτή).

Avg Deposit, Paying Share.

Καθαρή άνοδος: (πρόσθετα έσοδα) − (βραβεία + πριμοδοτήσεις + διαρροές λειτουργίας + απάτης).

Γκαρντεράιλς

Καταγγελίες/τεχνική υποστήριξη για 1.000 χρήστες, άρνηση KYC, μη φυσιολογικά πρότυπα στοιχημάτων, σημαίες RG (όρια, αυτοαποκλεισμός).

4) Διάρκεια, εποχικότητα και καινοτομία

Τουλάχιστον 2 κύκλοι πλήρους λειτουργίας (π.χ. 2 εβδομάδες για να συλληφθεί το Σαββατοκύριακο).

Σκεφτείτε το νεωτεριστικό αποτέλεσμα: μια πτώση των πρώτων 48-72 ωρών. Διορθώνεται και αναλύεται σε φάσεις (D0-D2, D3-D7, D8 +).

Μην διασταυρώνεστε με μεγάλα promos ή σχεδιάζετε «ίσο θόρυβο» σε ομάδες.

5) Ικανότητα δειγματοληψίας και όγκος (παράδειγμα υπολογισμού)

Στόχος: να ανιχνευθεί η διαφορά στο Δ κατά το μέσο όρο «σημεία ανά χρήστη» (ή Net ARPPU).

Ο τύπος για τη δοκιμή t δύο δειγμάτων (εξίσου σε ομάδες):

[
ομάδα}} =\frac {2, ( )  2 ,\sigma  2} {\Delta  2}
]

Παράδειγμα: θέλουμε να πιάσουμε Δ = 5 πόντους, σ = 120, α = 0. 05 (δύο πλευρές), ισχύς 80% (β = 0. 2).

(z_{1-α/2}=1{,}96), (z_{1-β}=0{,}84) → άθροισμα 2. 8 τετράγωνο 7. 84.

(\sigma 2 = 14.400).

(n =\frac {2\times 7 {,} 84\times 14,400} {25 }\approx\frac {225,792} {25 }\περίπου 9,032) ανά ομάδα.

💡 Σύνολο: ~ 9.100 χρήστες ανά ομάδα (με περιθώριο απόρριψης και καταπολέμησης της απάτης).

6) Μείωση της διασποράς: καθιστώντας τη δοκιμή «φθηνότερη»

CUPED: προσαρμογή παλινδρόμησης για προσομοιώσεις πριν από τη δοκιμή (για παράδειγμα, βαθμοί/ρυθμοί για την προηγούμενη εβδομάδα).

Συμπράξεις: σημαία πληρωτή, μετασχηματισμός λογαριασμού του κύκλου εργασιών, δραστηριότητα, πλατφόρμα, γεω.

Σφάλμα ομαδοποίησης: σε επίπεδο χρήστη (επαναλαμβανόμενες συνεδρίες εντός).

7) Παρεμβολή και «στενά»

Ο κανόνας των σημείων μπορεί να επηρεάσει περισσότερα από τους απλούς συμμετέχοντες σε δοκιμές:

Κοινωνική σύγκριση (κοινό διοικητικό συμβούλιο) → «spillover».
Κοινά τζάκποτ/κοινές αποστολές → διασταυρούμενο αποτέλεσμα.

Λύσεις:

Ξεχωριστοί πίνακες ανά ομάδα ή κρυφή ομαλοποίηση σημείων.
Τυχαιοποίηση διασποράς από συστάδες κυκλοφορίας/γεω (πιο ακριβά αλλά καθαρότερα).
Ανά πρωτόκολλο (ITT) + ευαίσθητες δοκιμασίες.

8) Καταπολέμηση της απάτης και της απάτης

Τυχόν αλλαγές στα γυαλιά διεγείρουν τη βελτιστοποίηση: μικρο-στοιχήματα, botovodstvo, «αγροκτήματα γυαλιών».

Ελάχιστη προστασία:

Σημεία κάλυψης ανά λεπτό/ώρα/ημέρα και για ένα στοίχημα.
Ελάχιστη μεταβλητότητα στοιχημάτων (απαγόρευση «ιδανικών» αλληλουχιών).
ανίχνευση ακέφαλων/επαναλαμβανόμενων δακτυλικών αποτυπωμάτων, πληρεξούσιου.
Καθυστερημένη επαλήθευση μεγάλων βραβείων + KYC.
Ανάλυση: Συγκρίνετε τα «σημεία/στοιχήματα» και τη διανομή «σημεία/λεπτά», αναζητήστε ουρές.

9) Συστήματα συμβάντων και δεδομένων (ελάχιστο)

Εκδηλώσεις:

'session _ start {user_id, ts, platform}'
'event _ view {user_id, event_id, ts}'
'event _ join {user_id, event_id, ts}'
«σημεία _ που απονέμονται {user_id, event_id, rule_id, ποσό, πηγή, ts}»
'mission _ progress {user_id, mission_id, step, value, ts}'
'mission _ complete {user_id, mission_id, ts}'
'bet {user_id, game_id, bet, win, ts}'
'deposit {user_id, ποσότητα, ts}'

Βιβλία αναφοράς:

'rules {rule_id, name, params, caps_minute, caps_hour, caps_day, version}'
'assignments {user_id, test_id, ομάδα, assigned_at}'

10) Σχέδια SQL για ανάλυση

Έλεγχος ΕΜΕ (κατανομή ομίλου):

sql
ΕΠΙΛΕΓΜΕΝΗ ΟΜΑΔΑ, ΚΑΤΑΜΕΤΡΗΣΗ () a
ΑΠΟ ΕΚΧΩΡΗΣΕΙΣ
ΌΠΟΥ test_id =: δοκιμή
ΟΜΑΔΑ ΚΑΤΑ ΟΜΑΔ
-- περαιτέρω chi τετράγωνα έναντι αναμενόμενων κλασμάτων

Συμμετοχή/Ολοκλήρωση ανά ομάδα:

sql
ΜΕ ΕΠΙΛΕΞΙΜΟ AS (
ΕΠΙΛΟΓΗ user_id ΑΠΟ ΤΟΥς ΧΡΗΣΤΕΣ
ΟΣΟΝ ΑΦΟΡΑ last_active_at> =: ΕΝΑΡΞΗ - ΜΕΣΟ ΤΩΝ 14 ΗΜΕΡΩΝ "
), προσχωρήσει στην AS (
ΕΠΙΛΟΓΗ ΔΙΑΚΡΙΤΩΝ user_id ΑΠΟ ΤΟ event_join
ΟΠΟΥ event_id =: συμβάν ΚΑΙ ts ΜΕΤΑΞΥ: ΞΕΚΙΝΗΣΗ ΚΑΙ ΤΕΡΜΑΤΙΣΜΟΣ
), ξεκίνησε το AS (
ΕΠΙΛΟΓΗ ΔΙΑΚΡΙΤΩΝ user_id ΑΠΟ ΤΟ mission_progress
ΟΡΙΖΟΝΤΑΣ ΜΕΤΑΞΥ: ΑΡΧΗ ΚΑΙ ΤΕΛΟΣ ΚΑΙ mission_id ΙN (: αποστολές)
), συμπληρώθηκε AS (
ΕΠΙΛΟΓΗ ΔΙΑΚΡΙΤΩΝ user_id ΑΠΟ ΤΟ mission_complete
ΟΡΙΖΟΝΤΑΣ ΜΕΤΑΞΥ: ΑΡΧΗ ΚΑΙ ΤΕΛΟΣ ΚΑΙ mission_id ΙN (: αποστολές)
)
SELECT a. group, COUNT (ΔΙΑΚΡΙΤΗ j. (DIFFECT e. ) AS , COUNT (ΔΙΑΚΡΙΤΕΣ s.  (ΔΙΑΚΡΙΤΕΣ e. ) AS , COUNT (ΔΙΑΚΡΙΤΕΣ c.  (COUNT (ΔΙΑΚΡΙΤΕΣ s. ) AS ολοκλήρωση
ΑΠΟ ΤΟ ΕΠΙΛΕΞΙΜΟ
ΠΡΟΣΧΩΡΗΣΗ ΣΕ ΕΚΧΩΡΗΣΕΙΣ ΧΡΗΣΗΣ (user_id)
ΕΝΤΑΞΕΙΣ ΤΗΣ ΑΡΙΣΤΕΡΑΣ ΜΕ ΤΗ ΧΡΗΣΗ ΤΟΥ
ΟΙ ΑΡΙΣΤΕΡΕΣ ΣΥΝΔΕΣΕΙΣ ΑΡΧΙΖΟΥΝ ΝΑ ΧΡΗΣΙΜΟΠΟΙ
Ο ΑΡΙΣΤΕΡΟΣ ΣΥΝΔΕΣΗΣ ολοκληρΏΘΗΚΕ ΜΕ ΧΡΗΣΗ (user_id)
ΌΠΟΥ a. test_id =: δοκιμή
ΟΜΑΔΑ BY Group,

Καθαρή ARPPU και αξία βραβείων/πριμοδοτήσεων:

sql
Με τους πληρωτές AS (
ΕΠΙΛΟΓΗ ΔΙΑΚΡΙΤΩΝ user_id ΑΠΟ ΤΙΣ ΠΛΗΡΩμ
ΟΣΟΝ ΑΦΟΡΑ ΜΕΤΑΞΥ: ΕΝΑΡΞΗΣ ΚΑΙ:
), rev AS (
ΕΠΙΛΟΓΗ user_id, ΑΘΡΟΙΣΜΑ (ggr) AS ggr
ΑΠΟ ΤΑ ΕΣΟΔΑ
ΟΣΟΝ ΑΦΟΡΑ ΜΕΤΑΞΥ: ΕΝΑΡΞΗΣ ΚΑΙ:
ΟΜΑΔΑ ΚΑΤΑ user_id
), κόστος AS (
ΕΠΙΛΟΓΗ user_id, ΑΘΡΟΙΣΜΑ (βραβείο + μπόνους) AS κόστος
ΑΠΟ ΤΟ promo_costs
ΟΣΟΝ ΑΦΟΡΑ ΜΕΤΑΞΥ: ΕΝΑΡΞΗΣ ΚΑΙ:
ΟΜΑΔΑ ΚΑΤΑ user_id
)
SELECT a. group, AVG (COALESCE (r. ggr, 0) - COALESCE (c. Cost, 0)) FILTER (WHERE p. user_id IS NULL) AS net_arppu
ΑΠΟ ΕΚΧΩΡΗΣΕΙΣ a
LEFT JOINT payors p USING (user_id)
ΠΡΟΣΧΩΡΗΣΗ ΤΗΣ ΑΡΙΣΤΕΡΑΣ ΕΣΩ ΧΡΗΣΗΣ
ΣΤΟΙΧΕΙΑ ΣΥΝΔΡΟΜΗΣ ΜΕ ΤΗ ΧΡΗΣΗ (user_id)
ΌΠΟΥ a. test_id =: δοκιμή
ΟΜΑΔΑ BY Group,

Ανώτατο όριο (παράδειγμα):

sql
-- pre_value: γυαλιά/έσοδα πριν από τη δοκιμή, τιμή: κατά τη διάρκεια της δοκιμής
SELECT group, AVG (τιμή - θήτα pre_value) AS cuped_mean
ΑΠΟ (
SELECT a. group, x.user_id, x.value, x.pre_value, (SELECT COVAR_SAMP (τιμή, pre_value )/ VAR_SAMP (pre_value)
ΑΠΟ x) AS θήτα
ΑΠΟ ΕΚΧΩΡΗΣΕΙΣ a
JOIN x ON x.user_id = a. user_id
ΌΠΟΥ a. test_id =: δοκιμή
) t
ΟΜΑΔΑ ΚΑΤΑ ΟΜΑΔΑ

11) Μερικές επιπτώσεις και ετερογένεια

Ελέγξτε τις επιδράσεις HET:

Αρχάριοι έναντι πυρήνα, χαμηλής αξίας έναντι υψηλής αξίας, διαφορετικές πλατφόρμες/geo.
Μερικές φορές η νέα φόρμουλα των γυαλιών «φωτίζει» τα μέσα του πυρήνα χωρίς να αλλάζει τις φάλαινες - αυτό είναι το επιθυμητό αποτέλεσμα.
Προεγγραφή τμημάτων έτσι ώστε να μην αλιεύεται το «p-hacking».

12) Συχνές παγίδες

1. Ένα κοινό διοικητικό συμβούλιο για όλες τις ομάδες → παρεμβάσεις.

2. Η αλλαγή της δομής των βραβείων κατά τη διάρκεια της δοκιμής → ασύμμετρη.

3. Τα μικροφωνικά στοιχήματα γυαλιών → άκυρη ανύψωση.

4. ΕΥΚ και κυμαινόμενα φίλτρα σε εκτιμήσεις με μεροληπτικό τρόπο ETL.

5. Εξάρτηση από το «βρώμικο» ARPPU χωρίς αφαίρεση βραβείων/μπόνους.

6. Πρόωρη διακοπή λόγω διακυμάνσεων χωρίς ορθές διαδοχικές στατιστικές.

13) Bayes έναντι συχνότητας και διαδοχικών αποφάσεων

Πλαίσιο: Μπορείτε να χρησιμοποιήσετε την προσέγγιση Bayesian (οπίσθια διαφορά στις μετρήσεις, πιθανότητα «B είναι καλύτερη από A»), ειδικά κατά την παρακολούθηση με την πάροδο του χρόνου.

Προσοχή: οι ληστές για τους κανόνες των γυαλιών είναι κατάλληλοι μετά από επιβεβαιωμένη ανύψωση - στο στάδιο της λειτουργίας και όχι κατά την αρχική επικύρωση.

14) Υπεύθυνη δράση και συμμόρφωση

Διαφανείς κανόνες και ανώτατα όρια: ο παίκτης πρέπει να καταλάβει πώς κερδίζει πόντους.

Τα όρια δραστηριότητας και καταθέσεων, οι «παύσεις» και η RG υποκινούν.

Δεν υπάρχουν κρυφές «ποινές» για το ύφος του παιχνιδιού.

15) Mini Case (συνθετικό)

Πλαίσιο: εβδομαδιαίο γεγονός, A = «πόντοι για στοίχημα», B = «πόντοι από πολλαπλασιαστή νίκης/στοιχήματος, cap = 50/στοίχημα».

Μέγεθος: 2 × 10.000 χρήστες, διαστρωματωμένοι ανάλογα με την κατάσταση του πληρωτή. ΕΜΕ - περίπου.

Αποτελέσματα:

A 17,3% B 22,1% (+ 4,8 . п.) .
Ολοκλήρωση: A 38,9% → B 44,0% (+ 5,1 п. п.) .
Καθαρή ARPPU: A €41. 2 → B €43. 5 (+ €2. 3) με βραβείο + πριμοδότηση ανά πληρωτή ≈ €6. 4 (αμετάβλητο).
: αμετάβλητη· σημαίες απάτης ↓0,3 pp λόγω ανώτατων ορίων.
Συμπέρασμα: Άρθρο Β - νικητής· κλιμακώνουμε με την «μακριά ουρά» των βραβείων και σώζουμε τους στοματοφύλακες.

16) Κατάλογος σημείων Α/Β

Μονάδα = χρήστης, κολλώδης εκχώρηση, διαστρωμάτωση.
Ξεχωριστές πλακέτες/κανονικοποίηση για την αφαίρεση παρεμβολών.
Καθαρά καπάκια για γυαλιά, αντι-bot σήματα, KYC σε μεγάλους νικητές.
Προεγγραφή υποθέσεων και μετρικών στοιχείων (πρωτογενή/δευτερογενή/φράγματα).
Σχέδιο χωρητικότητας και διάρκειας, λαμβανομένου υπόψη του εποχικού χαρακτήρα.
Συνδεδεμένες CUPED/συμπράξεις, συναγερμοί ΕΥΚ αγωγών.
Дашборд «Επίτευξη → Συμμετοχής → Προόδου → Ολοκλήρωση → Αξίας».
Έκθεση: αύξηση χρημάτων μετά από βραβεία/μπόνους, ουρά μετά το αποτέλεσμα.

Ο κανόνας βαθμολόγησης είναι ένας μοχλός συμπεριφοράς. Ένα σωστά σχεδιασμένο τεστ Α/Β (χωρίς ΕΥΚ, με καταπολέμηση της απάτης και των συμπράξεων) σας επιτρέπει να αυξήσετε με ασφάλεια τη συμμετοχή, την ολοκλήρωση και το Net ARPPU, διατηρώντας παράλληλα την εμπιστοσύνη των παικτών και τα οικονομικά της εκστρατείας.