A/B-Tests der Punktregeln

Die Punktevergabe ist das Herzstück jeder Gamification. Wie die Punkte genau zählen, hängt vom Verhalten der Spieler, der Beteiligungsstruktur und der Wirtschaftlichkeit (ARPPU, Bonus Costs) ab. Im Folgenden finden Sie ein praktisches Rezept, wie Sie die neue Brillenregel valide testen und sicherstellen können, dass das Wachstum der Metriken real und kein Artefakt ist.

1) Was genau wir testen

Beispiele für Regeln:

Auf die Höhe der Einsätze: 1 Punkt für jeden €1 Einsatz.
Durch win/bet Multiplikator: Punkte = ⌊ Multiplikator × k ⌋, mit einem Mundschutz pro Wette.
Hybrid: Punkte pro Umdrehung + Boost für „Serien“ (N Spins in Folge), Mundschutz pro Minute/Stunde.
Missionen: Fixpunkte für Aufgaben (T1...Tn) mit zunehmender Komplexität.

Hypothese (Beispiel): „Das Multiplikator + Cap-Modell wird die participation_net und Erfüllungsrate erhöhen, ohne das Net ARPPU (nach Preisen/Boni) zu verschlechtern“.

2) Versuchseinheit und Randomisierung

Einheit: Benutzer (nicht Sitzung, nicht Gerät).

Verteilung: statischer Hash (user_id → Bucket) mit festen Salzen; 50/50 oder 33/33/33 für A/B/C.

Stratifizierung (empfohlen): Payer-Status (neu zahlend/nachzahlend/nicht zahlend), Plattform, Geo.

Sticky-Assignment: Der Benutzer sieht während des Tests immer die gleiche Regel.

SRM-Check (Sample Ratio Mismatch): Überprüfen Sie täglich die tatsächlichen Anteile der Gruppen mit den erwarteten (Chi-Quadrat). SRM - Traffic Leak Signal, fehlerhafte Filterung, Bugs.

3) Metriken und „Brillentrichter“

Aktivität und Beteiligung

Reichweite: Anteil, der die Veranstaltung gesehen hat.

Participation_gross: eingetragen/eligible.

Participation_net: begonnen Fortschritt/eligible.

Abschluss: abgeschlossen/begonnen.

Qualität und Geld

ΔDAU/WAU и stickiness (DAU/WAU).

Avg Bets per Session, Avg Bet Size.

ARPPU (net) = ARPPU − (Prize + Bonus Cost per payer).

Avg Deposit, Paying Share.

Net Uplift: (zusätzliche Einnahmen) − (Preise + Boni + operative + Betrug Lecks).

Gardereil

Beschwerden/technische Unterstützung von 1.000 Usern, KYC-Ablehnungen, anomale Wettmuster, RG-Flags (Limits, Selbstausschluss).

4) Dauer, Saisonalität und Neuheit

Mindestens 2 vollständige Geschäftszyklen (z. B. 2 Wochen, um ein Wochenende zu erfassen).

Berücksichtigen Sie den Novelty-Effekt: Anstieg der ersten 48-72 Stunden. Erfassen und analysieren Sie Phasen (D0-D2, D3-D7, D8 +).

Kreuzen Sie nicht mit großen Promos oder planen Sie „gleichen Lärm“ nach Gruppen.

5) Stichprobenleistung und -volumen (Berechnungsbeispiel)

Ziel: Erkennen Sie die Differenz der Δ durch die durchschnittliche „Brille pro Benutzer“ (oder Net ARPPU).

Formel für einen Zwei-Punkt-T-Test (zu gleichen Teilen in Gruppen):

[
n_{\text{na Gruppe}} =\frac {2, (z_{1-\alpha/2}+z_{1-\beta}) ^ 2 ,\sigma ^ 2} {\Delta ^ 2}
]

Beispiel: Wir wollen Δ = 5 Punkte fangen, σ = 120, α = 0,05 (zweiseitig), Macht 80% (β = 0,2).

(z_{1-α/2}=1{,}96), (z_{1-β}=0{,}84) → die Summe 2,8 → das Quadrat 7,84.

(\sigma^2 = 14,400).

(n =\frac {2\times 7 {,} 84\times 14.400} {25 }\approx\frac {225.792} {25 }\approx 9,032) pro Gruppe.

Ergebnis: ~ 9.100 Benutzer pro Gruppe (mit einem Vorrat an Ablehnung und Betrug).

6) Verringerung der Varianz: Machen Sie den Test „billiger“

CUPED: Regressionsanpassung für Vor-Test-Kovariaten (z.B. Punkte/Einsätze der letzten Woche).

Kovariaten: Payer-Flagge, Log-Transformationen des Umsatzes, Aktivität, Plattform, Geo.

Bug Clustering: auf Benutzerebene (wiederholte Sitzungen innerhalb).

7) Störungen und „Meerengen“

Die Brillenregel kann nicht nur Testteilnehmer betreffen:

Sozialer Vergleich (allgemeines Leaderboard) → „Spillover“.
Gemeinsame Jackpots/gemeinsame Missionen → einen Cross-Effekt.

Lösungen:

Getrennte Leaderboards nach Gruppen oder versteckte Normalisierung der Brille.
Cluster-Randomisierung nach Traffic/Geo-Clustern (teurer, aber sauberer).
Per-Protokoll (ITT) + empfindliche Analysen.

8) Betrugsbekämpfung und Regelkappen

Jede Änderung der Brille stimuliert die Optimierung: Mikrowetten, Botoware, „Brillenfarmen“.

Mindestschutz:

Cap Punkte pro Minute/Stunde/Tag und für eine Wette.
Minimale Wettvolatilität (Verbot von „idealen“ Sequenzen).
Erkennung von kopflosen/sich wiederholenden Fingerprints, Proxy.
Verzögerte Verifizierung großer Preise + KYC.
Analytik: Vergleichen Sie „Punkte/Einsätze“ und „Punkte/Minen“ der Verteilung, suchen Sie nach Schwänzen.

9) Ereignisse und Datenschema (Minimum)

Veranstaltungen:

`session_start {user_id, ts, platform}`
`event_view {user_id, event_id, ts}`
`event_join {user_id, event_id, ts}`
`points_awarded {user_id, event_id, rule_id, amount, source, ts}`
`mission_progress {user_id, mission_id, step, value, ts}`
`mission_complete {user_id, mission_id, ts}`
`bet {user_id, game_id, bet, win, ts}`
`deposit {user_id, amount, ts}`

Verzeichnisse:

`rules {rule_id, name, params, caps_minute, caps_hour, caps_day, version}`
`assignments {user_id, test_id, group, assigned_at}`

10) SQL-Sketche für die Analyse

SRM-Prüfung (Gruppeneinteilung):

sql
SELECT group, COUNT() AS users
FROM assignments
WHERE test_id =:test
GROUP BY group;
-- weiteres Chi-Quadrat gegen erwartete Anteile

Teilnahme/Abschluss nach Gruppen:

sql
WITH eligible AS (
SELECT user_id FROM users
WHERE last_active_at >=:start - INTERVAL '14 day'
), joined AS (
SELECT DISTINCT user_id FROM event_join
WHERE event_id =:event AND ts BETWEEN:start AND:end
), started AS (
SELECT DISTINCT user_id FROM mission_progress
WHERE ts BETWEEN:start AND:end AND mission_id IN (:missions)
), completed AS (
SELECT DISTINCT user_id FROM mission_complete
WHERE ts BETWEEN:start AND:end AND mission_id IN (:missions)
)
SELECT a. group,  COUNT(DISTINCT j. user_id)::float/COUNT(DISTINCT e. user_id) AS participation_gross,  COUNT(DISTINCT s. user_id)::float/COUNT(DISTINCT e. user_id) AS participation_net,  COUNT(DISTINCT c. user_id)::float/NULLIF(COUNT(DISTINCT s. user_id),0) AS completion
FROM eligible e
JOIN assignments a USING (user_id)
LEFT JOIN joined j USING (user_id)
LEFT JOIN started s USING (user_id)
LEFT JOIN completed c USING (user_id)
WHERE a. test_id =:test
GROUP BY a. group;

Net ARPPU und Wert der Preise/Boni:

sql
WITH payors AS (
SELECT DISTINCT user_id FROM payments
WHERE ts BETWEEN:start AND:end
), rev AS (
SELECT user_id, SUM(ggr) AS ggr
FROM revenue
WHERE ts BETWEEN:start AND:end
GROUP BY user_id
), costs AS (
SELECT user_id, SUM(prize + bonus) AS cost
FROM promo_costs
WHERE ts BETWEEN:start AND:end
GROUP BY user_id
)
SELECT a. group,  AVG(COALESCE(r. ggr,0) - COALESCE(c. cost,0)) FILTER (WHERE p. user_id IS NOT NULL) AS net_arppu
FROM assignments a
LEFT JOIN payors p USING (user_id)
LEFT JOIN rev r USING (user_id)
LEFT JOIN costs c USING (user_id)
WHERE a. test_id =:test
GROUP BY a. group;

CUPED (Beispiel):

sql
- pre_value: Punkte/Einnahmen vor dem Test; Wert: während des Tests
SELECT group,    AVG(value - theta pre_value) AS cuped_mean
FROM (
SELECT a. group, x.user_id, x.value, x.pre_value,     (SELECT COVAR_SAMP(value, pre_value)/VAR_SAMP(pre_value)
FROM x) AS theta
FROM assignments a
JOIN x ON x.user_id = a. user_id
WHERE a. test_id =:test
) t
GROUP BY group;

11) Sondereffekte und Heterogenität

Überprüfen Sie die HET-Effekte:

Anfänger vs Kern, Low-Value vs High-Value, verschiedene Plattformen/Geo.
Manchmal „zündet“ die neue Brillenformel den mittleren Kern, ohne die Wale zu verändern - das ist das gewünschte Ergebnis.
Machen Sie eine Vorregistrierung von Segmenten, um nicht „p-hacking“ zu fangen.

12) Häufige Fallen

1. Ein gemeinsames Leaderboard für alle Gruppen → Interferenz.

2. Die Änderung der Preisstruktur während des Tests → unvergleichlich.

3. Die Farm der Brille mit Mikrostacks → ein unwahrscheinliches Uplift.

4. SRM und „Floating Filter“ in ETL → verschobene Schätzungen.

5. Verlassen Sie sich auf ARPPU ohne Abzug von Preisen/Boni.

6. Vorzeitiger Stopp aufgrund von Fluktuationen ohne korrekte konsistente Statistiken.

13) Bayes vs Frequenz und aufeinander folgende Entscheidungen

Framework: Es ist möglich, einen Bayes' schen Ansatz (posteriorische Differenz von Metriken, Wahrscheinlichkeit „B ist besser als A“) zu verwenden, insbesondere bei der Überwachung über die Zeit.

Vorsicht: Bandits für Brillenregeln sind nach einem bestätigten Uplift angebracht - in der Betriebsphase, nicht bei der Primärvalidierung.

14) Verantwortungsvolles Spielen und Compliance

Transparente Regeln und Mundschutz: Der Spieler muss verstehen, wie er Punkte verdient.

Aktivitäts- und Einzahlungslimits, „Pausen“ und RG-Hinweise.

Keine versteckten „Strafen“ für den Spielstil.

15) Mini-Fall (synthetisch)

Kontext: Wöchentliche Veranstaltung, A = „Punkte für 1 € Einsatz“, B = „Punkte für Win/Bet Multiplikator, Cap = 50/Einsatz“.

Größe: 2 × 10.000 Benutzer, Schichtung nach Payer-Status. SRM - ca.

Ergebnisse:

Participation_net: A 17,3% → B 22,1% (+4,8 п.п.).
Completion: A 38,9% → B 44,0% (+5,1 п.п.).
Net ARPPU: A €41,2 → B €43,5 (+ €2,3) beim Preis + Bonus per payer ≈ €6,4 (unverändert).
Reklamationen/1k: unverändert; Betrugsflaggen ↓0,3 p. p. auf Kosten der Mundschutz.
Fazit: Regel B - Sieger; Wir skalieren mit dem „langen Schwanz“ der Preise und speichern die Caps.

16) Checkliste A/B-Start nach Punkten

Unit = user, sticky-assignment, stratification.
Getrennte Leaderboards/Normalisierung zur Beseitigung von Interferenzen.
Klare Mundschutz auf Brillen, Anti-Bottom-Signale, KYC an die großen Preisträger.
Vorregistrierung von Hypothesen und Metriken (primary/secondary/guardrails).
Kapazitätsplan und Dauer, Saisonalität berücksichtigt.
CUPED/Kovariaten angeschlossen, Pipeline SRM-alert.
Дашборд «Reach → Participation → Progress → Completion → Value».
Bericht: Inkrement im Geld nach Preisen/Boni, Schwanz Post-Effekt.

Die Punktregel ist ein Hebel des Verhaltens. Ein korrekt entworfener A/B-Test (ohne SRM, mit Antifrod und Kovariaten) ermöglicht eine sichere Steigerung der Teilnahme, Completion und Net ARPPU, während das Vertrauen der Spieler und die Wirtschaftlichkeit der Kampagnen erhalten bleiben.