A/B թեստեր միավորների հաշվարկման կանոնները

Ակնոցների հաշվարկումը ցանկացած գեյմիֆիայի սիրտն է։ Այն, թե ինչպես են համարվում ակնոցները, կախված է խաղացողների վարքագիծը, մասնակցության կառուցվածքը և տնտեսությունը (ARPPU, բոնուսային ոսկորները)։ Ներքևում 'գործնական բաղադրատոմսը, ինչպես կարելի է ստուգել ակնոցների նոր կանոնը և համոզվել, որ մետրի աճը իրական է, ոչ թե արտեֆակտը։

1) Ի՞ նչ ենք քննելու

Կանոնների օրինակներ

Ընդհանուր առմամբ ՝ 1 միավոր յուրաքանչյուր 241 տոկոսադրույքի համար։

Multiplicationwin/bet: ակնոցները = www.km-ի բազմապատկիչ, կափարիչի համար։

Հիբրիդ 'ակնոցները «սերիայի» համար (N սպին անընդմեջ), մեկ րոպե/ժամ։

Առաքելություններ 'ֆիքսված ակնոցներ առաջադրանքների կատարման համար (T1... Tn) աճող բարդությամբ։

Հիպոթեզը (օրինակ) '"մուլտիպլիկատոր + kap" -ը կբարձրացնի participation _ net և completion rate առանց Net ARPPU-ի վատացման (մրցանակներից/բոնուսներից հետո) "։

2) Փորձարարական միավորը և ռանդոմիզացիան

Միավորը 'օգտագործողը (ոչ նստաշրջան, ոչ սարք)։

Բաշխումը 'ստատիկ հեշ (user _ id nobucket) ֆիքսված աղերով։ 50/50 կամ 33/33/33 A/B/C համար
Ստրատիֆիկացիան (առաջարկվում է) 'payer-status (նոր վճարող/կրկին վճարող/չվճարող), պլատֆորմը, գեոն։
Sticky-assignae: Օգտագործողը միշտ տեսնում է նույն կանոնը թեստի ընթացքում։

SDM-ի ստուգումը (Sample Ratio Mismatch) 'ամեն օր կրկնեք խմբերի իրական բաժինը սպասվածից (hi-քառակուսի)։ MSM-ն շարժիչների արտահոսքի ազդանշան է, սխալ ֆիլտրումը, ուղիները։

3) Մետրիկի և «ակնոցների ձագը»

Ակտիվություն և մասնակցություն

Reach 'մասնաբաժինը, ով տեսավ իվենտը։

Participation _ gross :/eligible։
Participation _ net: սկսեցին առաջընթաց/eligible։
Completion 'ավարտեցին/սկսեցին։

Որակը և փողը

ΔDAU/WAU и stickiness (DAU/WAU).

Avg Bets per Session, Avg Bet Size.

ARPPU (net) = ARPPU − (Prize + Bonus Cost per payer).

Avg Deposit, Paying Share.

Net Uplift: (եկամտի դոցենտ) 2019 (մրցանակներ + բոնուսներ + վիրահատական + ֆրոդ արտահոսք)։

Գարդերեյլի

Բողոքներ/տեխնիկական աջակցություն 1000 յուզերների, KYC-ի, անոմալ փամփուշտների վրա, RG-դրոշները (լիմիտներ, ինքնազարգացում)։

4) Տևողությունը, սեզոնայնությունը և նորությունը

Առնվազն երկու ամբողջական բիզնես ցիկլ (օրինակ, երկու շաբաթ հանգստյան համար)։

Սեղմեք novelty-effect-ը 'առաջին 48-72-ի աճը: Գրանցեք և վերլուծեք ֆազները (D0-D2, D3-D7, D8 +)։
Մի հատեք մեծ պրոմո կամ պլանավորեք «հավասար աղմուկ» խմբերով։

5) Նմուշների հզորությունը և ծավալը (հաշվարկման օրինակ)

Նպատակը 'հայտնաբերել Մեքսիկայի տարբերությունը միջին «ակնոցով օգտագործողի վրա» (կամ Net ARPPU)։

Երկկողմանի t-թեստի բանաձևը (հավասարապես խմբերում)

[
n _ _ _ _ controm _ խմբի համար _ = prace _ 2, (z _ _ 1 - alpha/2 + z _ 1 - beta =) ^ 2, sigma ^ 2 + Corta ^ 2։
]

Օրինակ, մենք ուզում ենք բռնել System = 5 ակնոցներ, 112 = 120, 108 = 0,07 (երկկողմանի), 80 տոկոսը (105 = 108)։

(z _ _ _ 1-71/2 = 1 +, + 96), (z _ _ _ 1-71 = 0 +, + 84) - 2,8 հազար քառակուսի 7.84։

(\sigma^2 = 14,400).

(n) frac om 2/times 7, + 84/times 14,400 + 25 + approx/frac ՝ 225792 + 25 comprox 9,032) խմբի համար։

💡 Արդյունքը '249 100 օգտագործողներ խմբի համար (վերամշակման և հակաֆրոդի պահուստով)։

6) Ցրման նվազում. Մենք ավելի էժան ենք դարձնում թեստը «ավելի էժան»

CUPED 'ռեգրեսիայի ֆորումը նախատեստային կովարիատների վրա (օրինակ, ակնոցները/տոկոսադրույքները անցած շաբաթվա ընթացքում)։

Կովարիատները ՝ payer-դրոշը, log-տրանսֆորմները, ակտիվությունը, պլատֆորմը, geo։

Սխալների կլաստերիզացիա 'օգտագործողի մակարդակում (ներսում կրկնվող նստաշրջաններ)։

7) Ինտերֆուզիա և «նեղուցներ»

Ակնոցների կանոնը կարող է ազդել ոչ միայն թեստի մասնակիցների վրա

Սոցիալական համեմատությունը (ընդհանուր առաջնորդը) «spillover» է։

Ընդհանուր ջեքպոտները/միասին առաքելությունները կանխատեսում են քրոսի էֆեկտը։

Որոշումները

Խմբերի առանձին առաջնորդները կամ ակնոցների թաքնված նորմալացումը։

Կլաստերային ռանդոմիզացիան 112/գեո կլաստերներով (ավելի թանկ, բայց ավելի մաքուր)։
Տեղեկատվական-արձանագրություն (ITT) + զգայուն վերլուծություններ։

8) Անտիֆրոդը և կանոնների կաթիլները

Ակնոցների ցանկացած փոփոխություն խթանում է օպտիմիզացումը 'մանրադիտակները, բոտովոդիզմը, «ակնոցների ագարակները»։

Նվազագույն պաշտպանությունները

Cap ակնոցներ րոպեում/ժամ/օր և մեկ տոկոսադրույքով։

Նվազագույն ալատիլությունը («իդեալական» հաջորդականության արգելք)։
Headless/կրկնվող fingerprinae, ռուսական։
Մեծ մրցանակների հետաձգված վերականգնումը + KYC։
Վերլուծաբան 'համեմատեք «ակնոցներ/ակնոցներ» և «ակնոցներ/րոպե» բաշխման, որոնեք պոչերը։

9) Իրադարձություններ և տվյալների սխեմա (նվազագույն)

Իրադարձությունները

`session_start {user_id, ts, platform}`

`event_view {user_id, event_id, ts}`
`event_join {user_id, event_id, ts}`
`points_awarded {user_id, event_id, rule_id, amount, source, ts}`
`mission_progress {user_id, mission_id, step, value, ts}`
`mission_complete {user_id, mission_id, ts}`
`bet {user_id, game_id, bet, win, ts}`
`deposit {user_id, amount, ts}`

Տեղեկատուներ

`rules {rule_id, name, params, caps_minute, caps_hour, caps_day, version}`

`assignments {user_id, test_id, group, assigned_at}`

10) SQL սկետչին վերլուծության համար

MSM-ստուգում (խմբերի բաշխումը)

sql
SELECT group, COUNT() AS users
FROM assignments
WHERE test_id =:test
GROUP BY group;
- հի քառակուսին 'սպասվող բաժնետոմսերի դեմ

Participation/Completion խմբերով

sql
WITH eligible AS (
SELECT user_id FROM users
WHERE last_active_at >=:start - INTERVAL '14 day'
), joined AS (
SELECT DISTINCT user_id FROM event_join
WHERE event_id =:event AND ts BETWEEN:start AND:end
), started AS (
SELECT DISTINCT user_id FROM mission_progress
WHERE ts BETWEEN:start AND:end AND mission_id IN (:missions)
), completed AS (
SELECT DISTINCT user_id FROM mission_complete
WHERE ts BETWEEN:start AND:end AND mission_id IN (:missions)
)
SELECT a. group,  COUNT(DISTINCT j. user_id)::float/COUNT(DISTINCT e. user_id) AS participation_gross,  COUNT(DISTINCT s. user_id)::float/COUNT(DISTINCT e. user_id) AS participation_net,  COUNT(DISTINCT c. user_id)::float/NULLIF(COUNT(DISTINCT s. user_id),0) AS completion
FROM eligible e
JOIN assignments a USING (user_id)
LEFT JOIN joined j USING (user_id)
LEFT JOIN started s USING (user_id)
LEFT JOIN completed c USING (user_id)
WHERE a. test_id =:test
GROUP BY a. group;

NET ARPU-ն և մրցանակների/բոնուսների արժեքը

sql
WITH payors AS (
SELECT DISTINCT user_id FROM payments
WHERE ts BETWEEN:start AND:end
), rev AS (
SELECT user_id, SUM(ggr) AS ggr
FROM revenue
WHERE ts BETWEEN:start AND:end
GROUP BY user_id
), costs AS (
SELECT user_id, SUM(prize + bonus) AS cost
FROM promo_costs
WHERE ts BETWEEN:start AND:end
GROUP BY user_id
)
SELECT a. group,  AVG(COALESCE(r. ggr,0) - COALESCE(c. cost,0)) FILTER (WHERE p. user_id IS NOT NULL) AS net_arppu
FROM assignments a
LEFT JOIN payors p USING (user_id)
LEFT JOIN rev r USING (user_id)
LEFT JOIN costs c USING (user_id)
WHERE a. test_id =:test
GROUP BY a. group;

CUPED (օրինակ)

sql
- pre _ value: ակնոցներ/եկամուտներ մինչև թեստը; value 'թեստի ժամանակ
SELECT group,    AVG(value - theta pre_value) AS cuped_mean
FROM (
SELECT a. group, x.user_id, x.value, x.pre_value,     (SELECT COVAR_SAMP(value, pre_value)/VAR_SAMP(pre_value)
FROM x) AS theta
FROM assignments a
JOIN x ON x.user_id = a. user_id
WHERE a. test_id =:test
) t
GROUP BY group;

11) Մասնավոր էֆեկտները և գլորումը

Ստուգեք HET հետևանքները

Նորեկները vs, low-value vs high-value, տարբեր պլատֆորմներ/գեո։

Երբեմն ակնոցների նոր բանաձևը "վառում" է "mid-103 առանց whales փոխելու, դա ճիշտ արդյունք է։
Արեք սեգմենտների առջև, որպեսզի չմտնեք «p-hacking»։

12) Հաճախակի թակարդներ

1. Բոլոր խմբերի համար ընդհանուր առաջնորդը ինտերֆեյս է։

2. Թեստի ընթացքում մրցանակների կառուցվածքի փոփոխությունը անհավասարակշռություն է։

3. Միկրոավտոբուսներով ֆարմը պատրաստված է ոչ որակյալ uplift-ով։

4. MSM-ը և «լողացող ֆիլտրերը» ETL-ում բացատրվում են տեղայնացված գնահատականներով։

5. ARPPU-ն առանց մրցանակների/բոնուսների։

6. Վաղ սթոպը ֆլուկտուացիայի պատճառով առանց ճիշտ հաջորդական վիճակագրության։

13) Baies vs հաճախականությունը և հաջորդական լուծումները

Ֆրեյմվորկ 'կարող եք օգտագործել բայեսական մոտեցումը (հետպատերազմյան տարբերությունը, հավանականությունը «B ավելի լավ է, քան A»), հատկապես ժամանակի մոնիտորինգի ժամանակ։

Զգույշ եղեք, որ ակնոցների կանոնների համար բանդիտները տեղին են ապացուցված uplift-ից հետո 'գործողության փուլում, ոչ թե walidation-ում։

14) Պատասխանատու խաղը և կոմպլանսը

Թափանցիկ կանոնները և գլխարկները. Խաղացողը պետք է հասկանա, թե ինչպես է ակնոցները վաստակում։

Գործունեության և ավանդների սահմանները, «դադարները» և RG-առաջարկները։
Խաղի ոճին թաքնված «տուգանքներ» չկան։

15) Մինի-քեյսը (սինթետիկ)

Համատեքստը 'շաբաթական իվենտը, A = «ակնոցներ 1 տոկոսադրույքի համար», B = «ակնոցներ multiplicationwin/bet, cap = 50/տոկոսադրույքի համար»։

Չափսը ՝ 2-10,000 օգտագործողներ, payer-status։ MSM-ը մոտ է։

Արդյունքները

Participation_net: A 17,3% → B 22,1% (+4,8 п.п.).

Completion: A 38,9% → B 44,0% (+5,1 п.п.).

Net ARPPU: A 3541,2 հազար B 3543,5 (+ 352,3) Prize + Bonus per payer 356,4 (չի փոխվել)։

Բողոքներ/1k: անփոփոխ; ֆրոդի դրոշները 0.3 p.p են գլխարկների պատճառով։

Եզրակացությունը 'B կանոնը հաղթողն է։ մեծացնում ենք մրցանակների «երկար պոչը» և պահպանում գլխարկները։

16) A/B ակնոցներով

Միավորում = օգտագործող, sticky-assignae, ստրատիֆիկացիա։
Առանձին առաջնորդներ/նորմալացում, որպեսզի հեռացնեն միջամտությունը։
Հստակ գլխարկներ ակնոցների, հակատանկային ազդանշանների, KYC մեծ մրցանակակիրների վրա։
Հիպոթեզների և մեթրիկի պրեգաստացիա (primary/secondary/guardrails)։
Ուժի և տևողության պլանը, սեզոնայնությունը։
CUPED/կովարիատները միացված են, մեջբերում է PPM-alerts-ը։
Дашборд «Reach → Participation → Progress → Completion → Value».
Զեկույց: փողի գրանցում մրցանակներից/բոնուսներից հետո, պոչը post-effect։

Ակնոցների հաշվարկման կանոնը վարքագծի լծակն է։ Ճիշտ նախագծված A/B թեստը (առանց PPM, հակաֆրոդի և կովարիատների հետ) թույլ է տալիս ապահով բարձրացնել մասնակցությունը, completion և Net ARPPU-ը, պահպանելով խաղացողների վստահությունը և քարոզարշավների տնտեսությունը։