A/B санҷишҳои қоидаҳои баҳодиҳӣ

Баҳодиҳӣ дили ҳама гуна gamification аст. Маҳз чӣ гуна ҳисоб кардани холҳо рафтори бозингарон, сохтори иштирок ва иқтисодро муайян мекунад (ARPPU, устухонҳои бонус). Дар зер як дорухат амалӣ барои санҷиши дурусти қоидаҳои нуқтаҳои нав ва боварӣ ҳосил кардан, ки афзоиши метрикӣ воқеӣ аст, на артефакт.

1) Мо маҳз кадом санҷишро санҷида истодаем

Намунаҳои қоидаҳо:

Аз рӯи маблағи гарав: 1 хол барои ҳар як евро 1 евро.
Бо мултипликатори ғолиб/бет: нуқтаҳо = ⌊ мултипликатори × k ⌋, бо ҳадди ақалли ҳар як гарав.
Гибрид: нуқтаҳо барои як гардиш + афзоиш барои "силсила" (N дар як саф), ҳадди аққал дар як дақиқа/соат.
Миссияҳо: нуқтаҳои иҷрои вазифаҳоро (T1...Tn) бо мураккабии афзоянда ислоҳ кунед.

Гипотеза (мисол): "Модели мултипликатори + ҳадди аққал бе бадтар шудани Net ARPPU (пас аз мукофотҳо/мукофотҳо) сатҳи participation_net ва анҷомёбиро зиёд мекунад".

2) Воҳиди таҷрибавӣ ва тасодуфӣ

Воҳид: корбар (на сеанс, на дастгоҳ).

Тақсимот: хэш статикӣ (user_id → сатил) бо намакҳои собит; фраксияҳои 50/50 ё 33/33/33 барои A/B/C.

Стратификатсия (тавсия дода мешавад): ҳолати пардохткунанда (пардохти нав/пардохт/пардохт накардан), платформа, гео.

Таъйиноти часпанда: Корбар ҳангоми санҷиш ҳамеша ҳамон қоидаро мебинад.

Санҷиши SRM (Номутобиқатии таносуби намуна) - Ҳар рӯз саҳмияҳои воқеии гурӯҳҳоро нисбат ба саҳмияҳои пешбинишуда санҷед (хи-квадрат). SRM - сигнали ихроҷи трафик, филтри хато, иштибоҳҳо.

3) Нишондиҳандаҳо ва "ҳалқаи нуқтаҳо"

Фаъолият ва иштирок

Расидан: мубодила кунед, ки ҳодисаро дидаанд.

Participation_gross: воридшуда/ихтиёрӣ.

Participation_net: пешрафт/идеалӣ оғоз ёфт.

Анҷом: анҷом/оғоз.

Сифат ва пул

Δ DAU/WAU i часпак (DAU/WAU).

Avg Bets дар як сессия, андозаи Avg Bet.

ARPPU (холис) = ARPPU − (Мукофот + Арзиши бонус барои як пардохткунанда).

Амонати Avg, ҳиссаи пардохт.

Net Uplift: (даромади иловагӣ) − (тӯҳфаҳо + мукофотпулӣ + амалиётӣ + ихроҷи қаллобӣ).

Гардереилҳо

Шикоятҳо/дастгирии техникӣ барои 1000 корбар, рад кардани KYC, намунаҳои ғайримуқаррарии букмекерӣ, парчамҳои RG (маҳдудиятҳо, худдорӣ).

4) Давомнокӣ, мавсимӣ ва навоварӣ

Ҳадди аққал 2 давраҳои пурраи корӣ (масалан, 2 ҳафта барои гирифтани истироҳат).

Таъсири навовариро дида мебароем: лаппиши 48-72 соати аввал. Дар марҳилаҳо ислоҳ ва таҳлил кунед (D0-D2, D3-D7, D8 +).

Бо таблиғоти калон убур накунед ё "садои баробар" -ро дар гурӯҳҳо ба нақша нагиред.

5) Иқтидори интихоб ва ҳаҷм (мисоли ҳисоб)

Ҳадаф: муайян кардани фарқияти Δ аз рӯи "нуқтаҳои як корбар" (ё Net ARPPU).

Формулаи ду намунаи t-test (баробар дар гурӯҳҳо):

[
n_{\text{na гурӯҳ}}> frac {2, (z_{1-\alpha/2}+z_{1-\beta}) ī 2 ,\sigma → 2} {\Delta → 2}
]

Мисол: мо мехоҳем, ки Δ = 5 хол гирем, σ = 120, α = 0. 05 (дутарафа), қувваи 80% (β = 0). 2).

(z_{1-α/2}=1{,}96), (z_{1-β}=0{,}84) → ҷамъи 2). 8 → квадрат 7. 84.

(\sigma; 2 = 14,400).

(n =\frac {2\times 7 {,} 84} маротиба 14 400} {25}} creex\frac {225 792} {25\тақрибан 9 032) барои як гурӯҳ.

💡 Ҷамъ: ~ 9,100 корбар дар як гурӯҳ (бо маржа барои рад ва антифрауд).

6) Коҳиш додани парокандашавӣ: санҷиши "арзон"

CUPED: тасҳеҳи регрессия барои ковариатҳои пеш аз санҷиш (масалан, нуқтаҳо/нархҳо барои ҳафтаи гузашта).

Ковариатҳо: пардохткунанда-парчам, тағири сабти гардиш, фаъолият, платформа, гео.

Гурӯҳбандии хатогӣ: дар сатҳи корбар (ҷаласаҳои такрорӣ дар дохили).

7) Мудохила ва "тангӣ"

Қоидаи нуқтаҳо метавонад на танҳо ба иштирокчиёни санҷиш таъсир расонад:

Муқоисаи иҷтимоӣ (Шӯрои пешвои умумӣ) → "рехтан".
Jackpots муштарак/миссияҳои муштарак → таъсири салиб.

Қарорҳо:

Лидерҳои алоҳида аз рӯи гурӯҳ ё нормализатсияи пинҳонии нуқтаҳо.
Тасодуфии кластер аз ҷониби кластерҳои трафик/гео (гаронтар, вале тозатар).
Як протокол (ITT) + таҳлили ҳассос.

8) Антифрауд ва даҳони қоидаҳо

Ҳама гуна тағирот дар айнак ба оптимизатсия мусоидат мекунанд: микро-гаравҳо, ботоводство, "хоҷагиҳои айнак".

Муҳофизати минималӣ:

Нуқтаҳои ҳадди аққал дар як дақиқа/соат/рӯз ва барои як гарав.
Ноустувории ҳадди аққали гаравҳо (манъи пайдарпайии "идеалӣ").
Муайян кардани изи ангуштони бефосила/такрорӣ, прокси.
Тафтиши таъхири мукофотҳои калон + KYC.
Таҳлил: Тақсимоти "нуқтаҳо/гаравҳо" ва "нуқтаҳо/дақиқа" -ро муқоиса кунед, думҳоро ҷустуҷӯ кунед.

9) Рӯйдодҳо ва нақшаи маълумот (ҳадди аққал)

Ҳодисаҳо:

'session _ start {user_id, ts, платформа}'
'event _ view {user_id, event_id, ts}'
'event _ join {user_id, event_id, ts}'
'points _ мукофотонида шудааст {user_id, event_id, rule_id, маблағ, манбаъ, ts}'
'mission _ progress {user_id, mission_id, қадам, арзиш, ts}'
'mission _ complete {user_id, mission_id, ts}'
'bet {user_id, game_id, bet, win, ts}'
'deposit {user_id, маблағ, ts}'

Маълумотномаҳо:

'rules {rule_id, ном, парам, caps_minute, caps_hour, caps_day, версия}'
'супоришҳо {user_id, test_id, гурӯҳ, assigned_at}'

10) Эскизҳои SQL барои таҳлил

Санҷиши SRM (тақсимоти гурӯҳ):

sql
Гурӯҳи SELECT, COUNT () ҳамчун истифодабарандагон
АЗ СУПОРИШҲО
ДАР куҷо test_id =: санҷиш
ГУРӮҲИ ГУРӮҲ;
- минбаъд хи-квадратӣ нисбат ба касрҳои пешбинишуда

Иштирок/Анҷом аз рӯи гурӯҳ:

sql
БО AS мувофиқ (
ИНТИХОБИ user_id АЗ Истифодабарандагон
ДАР куҷо last_active_at> =: оғоз - ИНТЕРВАЛ '14 рӯз'
), AS ҳамроҳ шуд (
АЗ user_id event_join ФАРҚИЯТРО ИНТИХОБ КУНЕД
ДАР куҷо event_id =: ҳодиса ва ts БАЙНИ: оғоз ва: хотима
), AS оғоз ёфт (
АЗ user_id mission_progress ФАРҚИЯТРО ИНТИХОБ КУНЕД
ДАР куҷо: оғоз ва: хотима ва mission_id ДАР (: миссияҳо)
), AS (анҷом ёфтааст)
АЗ user_id mission_complete ФАРҚИЯТРО ИНТИХОБ КУНЕД
ДАР куҷо: оғоз ва: хотима ва mission_id ДАР (: миссияҳо)
)
ИНТИХОБИ а. гурӯҳ, ҳисоб (Фарқият j.  (ФАРҚИЯТ. ) ЧУН , ҲИСОБКУНӢ (ФАРҚИЯТ)  (ФАРҚИЯТ) - и ) ҲАМЧУН , ҲИСОБ (ФАРҚИЯТ )
АЗ ҲУҚУҚИ E
БА СУПОРИШҲО ҲАМРОҲ ШАВЕД (user_id)
LEFT ҳамроҳ шуд j Бо ИСТИФОДА (user_id)
Пайвастани чап ба истифодаи (user_id) оғоз ёфт
Ҳамроҳшавии чап c бо истифода аз (user_id)
ДАР куҷо а. test_id =: санҷиш
ГУРӮҲ аз ҷониби гурӯҳи a. гурӯҳ;

ARPPU холис ва арзиши тӯҳфаҳо/мукофотҳо:

sql
БО пардохткунандагон AS (
АЗ ПАРДОХТҲО user_id ФАРҚИЯТРО ИНТИХОБ КУНЕД
ДАР куҷо: оғоз ва: хотима
), rev AS (
ИНТИХОБИ user_id, SUM (ggr) AS ggr
АЗ ДАРОМАД
ДАР куҷо: оғоз ва: хотима
ГУРӮҲ АЗ РӮИ user_id
), хароҷоти AS (
SELECT user_id, SUM (мукофот + бонус) ҲАМЧУН арзиш
АЗ promo_costs
ДАР куҷо: оғоз ва: хотима
ГУРӮҲ АЗ РӮИ user_id
)
SELECT a. гурӯҳ, AVG (COALESCE (р.). gr, 0) - КОАЛЕСЕ (с. арзиш, 0)) ФИЛТЕР (ДАР КУҶО саҳ. user_id НЕСТ) AS net_arppu
АЗ супоришҳои а
LEFT Ҳамроҳ кардани пардохткунандагон бо ИСТИФОДА (user_id)
LEFT ҲАМРОҲ ШАВЕД (user_id)
Хароҷоти LEFT ҳамроҳ шудан c ИСТИФОДАИ (user_id)
ДАР куҷо а. test_id =: санҷиш
ГУРӮҲ аз ҷониби гурӯҳи a. гурӯҳ;

CAPPED (мисол):

sql
- pre_value: айнак/даромади пеш аз санҷиш; арзиш: ҳангоми санҷиш
Гурӯҳи SELECT, AVG (value - theta pre_value) AS cuped_mean
АЗ (
SELECT a. group, x.user_id, x.value, x.pre_value, (SELECT COVAR_SAMP (арзиш, pre_value )/ VAR_SAMP (pre_value)
АЗ х) AS theta
АЗ супоришҳои а
ҲАМРОҲ ШАВЕД x ON x.user_id = а. user_id
ДАР куҷо а. test_id =: санҷиш
) т
ГУРӮҲИ ГУРӮҲ;

11) Таъсири қисман ва гетерогенӣ

Санҷед таъсири HET:

Шурӯъкунандагон vs аслӣ, арзиши паст ва арзиши баланд, платформаҳои гуногун/гео.
Баъзан формулаи нави айнакҳо нимаи ядроиро бидуни тағир додани китҳо "равшан мекунад" - ин натиҷаи дилхоҳ аст.
Сегментҳои пеш аз сабти ном, то ки "p-hacking" -ро дастгир накунанд.

12) Домҳои зуд-зуд

1. Шӯрои роҳбарикунандаи умумӣ барои ҳамаи гурӯҳҳо → мудохила.

2. Тағйир додани сохтори ҷоиза ҳангоми санҷиш → номувофиқатӣ.

3. Микро-гарави айнак → болоравии беэътибор.

4. SRM ва филтрҳои шинокунанда дар ҳисобҳои ғаразнок.

5. Эътимод ба "ифлос" ARPPU бидуни тарҳ кардани ҷоизаҳо/мукофотпулӣ.

6. Қатъи барвақт бо сабаби тағирёбии бидуни омори пайдарпай.

13) Байес vs қарорҳои басомад ва пайдарпай

Чаҳорчӯба: Шумо метавонед равиши Байесянро истифода баред (фарқияти пас аз ченакҳо, эҳтимолияти "B аз A беҳтар аст"), хусусан ҳангоми назорат бо мурури замон.

Эҳтиёт: бандитҳо барои қоидаҳои айнак пас аз баландшавии тасдиқшуда мувофиқанд - дар марҳилаи кор, на дар санҷиши аввалия.

14) Бозии масъул ва риояи он

Қоидаҳо ва ҳадди шаффоф: плеер бояд дарк кунад, ки чӣ гуна ӯ балл мегирад.

Фаъолият ва маҳдудиятҳои амонатӣ, "таваққуф" ва RG таклиф мекунанд.

"Ҷазо" -и пинҳонӣ барои услуби бозӣ вуҷуд надорад.

15) Парвандаи хурд (синтетикӣ)

Контекст: чорабинии ҳарҳафтаина, A = "нуқтаҳо барои 1 евро," B = "бо мултипликатори ғолиб/бет, cap = 50/бет".

Андоза: 2 × 10,000 корбар, ки аз рӯи мақоми пардохткунанда гурӯҳбандӣ шудаанд. SRM - тақрибан.

Натиҷаҳо:

Participation_net: A 17,3% → B 22,1% (+ 4,8%). п.) .
Анҷом: A 38,9% → B 44,0% (+ 5,1 c). п.) .
ARPPU холис: A €41. 2 → B €43. 5 (+ €2. 3) бо Мукофот + Бонус барои як пардохткунанда ≈ €6. 4 (бетағйир мондааст).
Complaints/1k: бетағйир; парчамҳои қаллобӣ ↓0,3 саҳ.
Хулоса: Қоидаи B - ғолиб; мо бо "думи дароз" -и тӯҳфаҳо миқёс мегирем ва муҳофизони даҳонро наҷот медиҳем.

16) Рӯйхати санҷиши оғози A/B

Воҳиди = корбар, таъини часпак, стратификатсия.
Лавҳаҳои ҷудогона/нормализатсия барои бартараф кардани мудохила.
Зарфҳои тоза барои айнак, сигналҳои зидди бот, KYC ба ғолибони асосӣ.
Пеш аз бақайдгирии гипотезаҳо ва ченакҳо (ибтидоӣ/миёна/посбонӣ).
Нақшаи иқтидор ва давомнокӣ, мавсимӣ бо назардошти.
CUPED/ковариатҳо пайвастанд, лӯлаи SRM-огоҳиҳо.
Dashbord "Ба даст овардан → Иштирок → Пешрафт → Анҷом → Арзиш".
Ҳисобот: афзоиши пул пас аз тӯҳфаҳо/мукофотпулӣ, пас аз таъсири дум.

Қоидаи баҳодиҳӣ фишанги рафтор аст. Санҷиши дуруст тарҳрезишудаи A/B (бидуни SRM, бо қаллобӣ ва ковариатҳо) ба шумо имкон медиҳад, ки иштирок, анҷом ва Net ARPPU-ро ба таври бехатар афзоиш диҳед ва ҳамзамон эътимоди бозингарон ва иқтисодиёти маъракаҳоро нигоҳ доред.