تست A/B از قوانین به ثمر رساند

گلزنی قلب هر بازی سازی است. دقیقا چگونه نقاط شمارش تعیین رفتار بازیکن، ساختار مشارکت و اقتصاد (ARPPU، استخوان جایزه). در زیر یک دستورالعمل عملی برای معتبر تست قانون نقاط جدید و مطمئن شوید که رشد متریک واقعی است، نه یک مصنوع است.

1) دقیقا چه چیزی را آزمایش می کنیم

مثال هایی از قوانین:

با مقدار شرط: 1 امتیاز برای هر €1 شرط.
با ضرب برنده/شرط بندی: امتیاز = ضرب ⌊ × k ⌋، با یک کلاه در هر شرط.
ترکیبی: امتیاز در هر گردش مالی + افزایش برای «سری» (N چرخش در یک ردیف)، کلاه در هر دقیقه/ساعت.
ماموریت: نقاط ثابت برای تکمیل وظایف (T1...Tn) با افزایش پیچیدگی.

فرضیه (به عنوان مثال): «مدل چند برابر + کلاه participation_net و نرخ تکمیل بدون بدتر شدن ARPPU خالص (پس از جوایز/پاداش) افزایش می دهد».

2) واحد آزمایشی و تصادفی

واحد: کاربر (نه جلسه، نه دستگاه).

توزیع: هش استاتیک (user_id → سطل) با نمک ثابت ؛ کسری از 50/50 یا 33/33/33 برای A/B/C.

طبقه بندی (توصیه می شود): وضعیت پرداخت کننده (پرداخت جدید/پرداخت مجدد/عدم پرداخت)، پلت فرم، جغرافیایی.

تخصیص چسبنده: کاربر همیشه در طول آزمون همان قانون را می بیند.

تست SRM (عدم تطابق نسبت نمونه) - سهام واقعی گروه ها را روزانه در برابر موارد مورد انتظار (مربع chi) بررسی کنید. SRM - سیگنال نشت ترافیک، فیلتر کردن اشتباه، اشکالات.

3) معیارها و «قیف نقاط»

فعالیت و مشارکت

دسترسی: به اشتراک گذاشتن کسانی که این رویداد را دیدند.

Participation_gross: وارد شده/اختیاری است.

Participation_net: شروع پیشرفت/ایده آل.

تکمیل: تکمیل شده/شروع شده

کیفیت و پول

Δ DAU/WAU چسبندگی и (DAU/WAU).

میانگین شرط در هر جلسه، میانگین اندازه شرط.

ARPPU (خالص) = − ARPPU (جایزه + هزینه پاداش برای هر پرداخت کننده).

میانگین سپرده، پرداخت سهم.

بالا بردن خالص: (درآمد اضافی) − (جوایز + پاداش + عامل + نشت تقلب).

گاردریل ها

شکایات/پشتیبانی فنی برای 1000 کاربر، رد KYC، الگوهای شرط بندی غیر طبیعی، پرچم های RG (محدودیت ها، خود حذفی).

4) مدت زمان، فصلی و تازگی

حداقل 2 چرخه کامل کسب و کار (به عنوان مثال 2 هفته برای تعطیلات آخر هفته).

اثر نوآوری را در نظر بگیرید: یک چلپ چلوپ از 48-72 ساعت اول. رفع و تجزیه و تحلیل در مراحل (D0-D2، D3-D7، D8 +).

آیا با promos بزرگ عبور نمی کند، و یا طرح «سر و صدای برابر» در گروه.

5) ظرفیت نمونه برداری و حجم (مثال محاسبه)

هدف: برای تشخیص تفاوت در Δ به طور متوسط «امتیاز به ازای هر کاربر» (یا خالص ARPPU).

فرمول آزمون t دو نمونه (به طور مساوی در گروه):

[
n_{\text{na group}} =\frac {2, (z_{1-\alpha/2}+z_{1-\beta}) ^ 2 ,\sigma ^ 2} {\Delta ^ 2}
]

به عنوان مثال: ما می خواهیم Δ = 5 امتیاز، σ = 120، α = 0 بگیریم. 05 (دو طرفه)، قدرت 80٪ (β = 0. 2).

(z_{1-α/2}=1{,}96)، (z_{1-β}=0{,}84) → مجموع 2. 8 → مربع 7. 84.

(\sigma ^ 2 = 14,400).

(n =\frac {2\times 7 {,} 84\times 14,400} {25 }\\تقریبا\frac {225,792} {25 }\approximate 9,032) در هر گروه.

💡 مجموع: ~ 9,100 کاربران در هر گروه (با حاشیه برای رد و antifraud).

6) کاهش پراکندگی: ساخت آزمون «ارزان تر»

CUPED: تنظیم رگرسیون برای کوواریته های قبل از آزمون (به عنوان مثال، امتیاز/نرخ برای هفته گذشته).

Covariates: پرداخت پرچم، ورود به سیستم تبدیل گردش مالی، فعالیت، پلت فرم، جغرافیایی.

خوشه بندی خطا: در سطح کاربر (جلسات تکراری در داخل).

7) تداخل و «تنگه»

قانون امتیاز می تواند بیش از شرکت کنندگان در آزمون تاثیر بگذارد:

مقایسه اجتماعی (هیئت مدیره رهبر مشترک) → «سرریز».
jackpots به اشتراک گذاشته شده/ماموریت های مشترک → اثر متقابل.

راه حل ها:

مدیران جداگانه توسط گروه یا عادی سازی پنهان نقاط.
تصادفی سازی خوشه ای توسط خوشه های ترافیکی/جغرافیایی (گران تر اما پاک تر).
در هر پروتکل (ITT) + سنجش های حساس.

8) ضد گلوله و دهان قوانین

هر گونه تغییر در عینک باعث بهینه سازی می شود: میکرو شرط، botovodstvo، «مزارع عینک».

حداقل حمایت:

امتیاز کلاه در هر دقیقه/ساعت/روز و برای یک شرط.
حداقل نوسانات شرط (ممنوعیت توالی «ایده آل»).
تشخیص اثر انگشت بی سر/تکراری، پروکسی.
تاخیر در تایید جوایز بزرگ + KYC
تجزیه و تحلیل: مقایسه «نقاط/شرط» و «نقاط/دقیقه» توزیع، به دنبال دم.

9) رویدادها و طرح داده ها (حداقل)

رویدادها:

'session _ start {user_id, ts, platform}'
'event _ view {user_id, event_id, ts}'
event _ join {user_id، event_id، ts}
'points _ awarded {user_id, event_id, rule_id, مقدار, منبع, ts}'
'mission _ progress {user_id, mission_id, step, value, ts}'
'mission _ complete {user_id, mission_id, ts}'
'bet {user_id، game_id، شرط، برنده، TS}'
'deposit {user_id، مقدار، ts}'

کتاب های مرجع:

'rules { , name, params, , , version}'
'assignments {user_id، test_id، گروه، assigned_at}'

10) طرح های SQL برای تجزیه و تحلیل

بررسی SRM (تخصیص گروه):

SQL
انتخاب گروه، تعداد () کاربران AS
از تکالیف
WHERE test_id =: تست
گروه بر اساس گروه ؛
- چی مربع بیشتر در مقابل کسری انتظار می رود

مشارکت/تکمیل توسط گروه:

SQL
با AS واجد شرایط (
انتخاب user_id از کاربران
WHERE last_active_at> =: شروع - فاصله '14 روز'
)، AS پیوست (
user_id متمایز از event_join را انتخاب کنید
WHERE event_id =: رویداد و ts بین: شروع و: پایان
آغاز شده به عنوان (
user_id متمایز از mission_progress را انتخاب کنید
که در آن ts بین: شروع و: پایان و mission_id در (: ماموریت)
)، AS تکمیل شده (
user_id متمایز از mission_complete را انتخاب کنید
که در آن ts بین: شروع و: پایان و mission_id در (: ماموریت)
)
یک گروه را انتخاب کنید، COUNT (متمایز j.  (متمایز الکترونیکی ) AS , تعداد (متمایز الکترونیکی ) AS, تعداد (متمایز ج
از واجد شرایط e
پیوستن به تکالیف با استفاده از (user_id)
پیوستن به چپ j با استفاده از (user_id)
پیوستن به چپ با استفاده از (user_id) آغاز شد
پیوستن به چپ تکمیل شده c با استفاده از (user_id)
WHERE A. test_id =: تست
گروه توسط یک گروه ؛

ARPPU خالص و ارزش جوایز/پاداش:

SQL
با پرداخت به عنوان (
انتخاب user_id متمایز از پرداخت
جایی که ts بین: شروع و: پایان
)، REV AS (
انتخاب user_id، مجموع (گرم) به عنوان گرم
از درآمد
جایی که ts بین: شروع و: پایان
گروه بر اساس user_id
)، هزینه AS (
انتخاب user_id، مجموع (جایزه + جایزه) به عنوان هزینه
از promo_costs
جایی که ts بین: شروع و: پایان
گروه بر اساس user_id
)
یک گروه را انتخاب کنید، AVG (COALESCE (r. ggr، 0) - COALESCE (ج. هزینه, 0)) فیلتر (که در آن ص. user_id صفر نیست) به عنوان net_arppu
از تکالیف a
پیوستن به چپ payors p با استفاده از (user_id)
پیوستن به چپ با استفاده از (user_id)
هزینه های پیوستن به چپ c با استفاده از (user_id)
WHERE A. test_id =: تست
گروه توسط یک گروه ؛

PAPED (مثال):

SQL
- pre_value: عینک/درآمد قبل از آزمون ؛ مقدار: در طول آزمون
انتخاب گروه، AVG (مقدار - تتا pre_value) AS cuped_mean
از جانب (
یک گروه، ، x.value، ، (SELECT  (مقدار،  )/را انتخاب کنید
از x) به عنوان تتا
از تکالیف a
اضافه کردن x در x.user_id = a. user_id
WHERE A. test_id =: تست
) تی
گروه بر اساس گروه ؛

11) اثرات جزئی و ناهمگونی

بررسی اثرات HET:

مبتدی ها در مقابل هسته، کم ارزش در مقابل ارزش بالا، سیستم عامل های مختلف/جغرافیایی.
گاهی اوقات فرمول جدید عینک «روشن» وسط هسته بدون تغییر نهنگ - این نتیجه مطلوب است.
پیش ثبت نام بخش به طوری که برای گرفتن «P-هک».

12) تله های مکرر

1. هیئت مدیره رهبر مشترک برای همه گروه ها → دخالت.

2. تغییر ساختار جایزه در طول آزمون → غیر قابل مقایسه.

3. میکرو شرط بندی عینک → uplift نامعتبر است.

4. SRM و فیلترهای شناور در ETL → تخمین های مغرضانه.

5. اعتماد به ARPPU «کثیف» بدون کسر جوایز/پاداش.

6. توقف زودهنگام به دلیل نوسانات بدون آمار متوالی صحیح.

13) بیز در مقابل فرکانس و تصمیمات متوالی

چارچوب: شما می توانید از رویکرد بیزی استفاده کنید (تفاوت خلفی در معیارها، احتمال «B بهتر از A است»)، به ویژه هنگامی که در طول زمان نظارت می کنید.

احتیاط: راهزنان برای قوانین عینک پس از تأیید تأیید شده - در مرحله عملیات، نه در اعتبار اولیه، مناسب هستند.

14) بازی مسئول و انطباق

قوانین و مقررات شفاف: بازیکن باید درک کند که چگونه امتیاز کسب می کند.

محدودیت های فعالیت و سپرده، «مکث» و RG باعث می شود.

بدون «مجازات» پنهان برای سبک بازی.

15) مورد کوچک (مصنوعی)

زمینه: رویداد هفتگی, A = «امتیاز برای €1 شرط می بندم», B = «امتیاز های برنده/شرط بندی چند برابر, کلاه = 50/شرط».

اندازه: 2 × کاربران 10 000، طبقه بندی شده توسط وضعیت پرداخت کننده. SRM - تقریبا.

نتایج:

Participation_net: A 17,3٪ → B 22,1٪ (+ 4,8 п. п.) .
تکمیل: A 38,9٪ → B 44,0٪ (+ 5,1 п. п.) .
ARPPU خالص: €41. 2 → B €43. 5 (+ €2. 3) با جایزه + پاداش در هر پرداخت کننده ≈ €6. 4 (بدون تغییر)
Complaints/1k: بدون تغییر پرچم های تقلب ↓0,3 pp به دلیل کلاه.
نتیجه گیری: قانون B - برنده ؛ ما با «دم بلند» جوایز مقیاس می کنیم و محافظان را نجات می دهیم.

16) نقاط A/B چک لیست راه اندازی

واحد = کاربر، تخصیص چسبنده، طبقه بندی.
تابلوهای جداگانه/عادی سازی برای حذف تداخل.
پاک کردن کلاه برای عینک، سیگنال های ضد ربات، KYC به برندگان اصلی.
پیش ثبت نام فرضیه ها و معیارها (اولیه/ثانویه/guardrails).
ظرفیت و مدت زمان طرح، فصلی در نظر گرفته شده است.
CUPED/covariates متصل، خط لوله SRM-هشدار.
Дашборд «رسیدن به → مشارکت → پیشرفت → تکمیل ارزش».
گزارش: افزایش در پول پس از جوایز/پاداش، دم پس از اثر.

قانون امتیاز دهی یک اهرم رفتاری است. تست A/B به درستی طراحی شده (بدون SRM، با ضد تقلب و متغیرهای همگرا) به شما امکان می دهد با حفظ اعتماد به نفس بازیکن و اقتصاد کمپین، با خیال راحت مشارکت، تکمیل و خالص ARPPU را افزایش دهید.