اختبارات A/B لقواعد التسجيل

التسجيل هو قلب أي لعبة. تحدد كيفية احتساب النقاط بالضبط سلوك اللاعب وهيكل المشاركة والاقتصاد (ARPPU، العظام الإضافية). فيما يلي وصفة عملية لاختبار قاعدة النقاط الجديدة بشكل صحيح والتأكد من أن النمو المتري حقيقي وليس قطعة أثرية.

1) ما الذي نختبره بالضبط

أمثلة على القواعد:

بمقدار الرهان: نقطة 1 لكل رهان €1.
بمضاعف الفوز/الرهان: نقاط = مضاعف ⌊ × k ⌋، مع سقف لكل رهان.
الهجين: نقاط لكل دوران + زيادة لـ «سلسلة» (N تدور على التوالي)، قبعات في الدقيقة/الساعة.
البعثات: تحديد نقاط لإنجاز المهام (T1...Tn) بمزيد من التعقيد.

الفرضية (مثال): «سيزيد نموذج المضاعف + الحد الأقصى من معدل participation_net والإنجاز دون تفاقم صافي ARPPU (بعد الجوائز/المكافآت)».

2) الوحدة التجريبية والتوزيع العشوائي

الوحدة: مستخدم (لا جلسة، لا جهاز).

التوزيع: تجزئة ثابتة (user_id → دلو) بأملاح ثابتة ؛ 50/50 أو 33/33/33 في الوثيقة A/B/C.

التقسيم الطبقي (الموصى به): حالة الدافع (الدفع الجديد/إعادة الدفع/عدم الدفع)، المنصة، الجغرافيا.

المهمة اللزجة: يرى المستخدم دائمًا نفس القاعدة أثناء الاختبار.

اختبار SRM (نسبة العينة غير متطابقة) - تحقق من الأسهم الفعلية للمجموعات يوميًا مقابل الأسهم المتوقعة (chi-square). SRM - إشارة تسرب حركة المرور، تصفية خاطئة، أخطاء.

3) المقاييس و «قمع النقاط»

النشاط والمشاركة

الوصول: شارك من شاهد الحدث.

Participation_gross: مدخلة/اختيارية.

Participation_net: بدأ التقدم/المثالي.

الانتهاء: اكتمل/بدأ.

الجودة والمال

Δ DAU/WAU и الثبات (DAU/WAU).

Avg Bets لكل جلسة، Avg Bet Size.

ARPPU (net) = ARPPU − (جائزة + مكافأة التكلفة لكل دافع).

إيداع Avg، دفع الحصة.

صافي الارتفاع: (الإيرادات الإضافية) − (الجوائز + المكافآت + التشغيل + تسريبات الاحتيال).

غارديريلز

الشكاوى/الدعم التقني لـ 1000 مستخدم، ورفض KYC، وأنماط الرهان غير العادية، وأعلام RG (الحدود، والاستبعاد الذاتي).

4) المدة والموسمية والجدة

الحد الأدنى 2 الدورات التجارية الكاملة (على سبيل المثال) 2 أسابيع لالتقاط عطلة نهاية الأسبوع).

ضع في اعتبارك التأثير الجديد: دفقة من أول 48-72 ساعة. إصلاح وتحليل على مراحل (D0-D2، D3-D7، D8 +).

لا تعبر بعروض ترويجية كبيرة، أو تخطط لـ «ضوضاء متساوية» في المجموعات.

5) قدرة أخذ العينات وحجمها (مثال الحساب)

الهدف: اكتشاف الفرق في Δ بمتوسط «النقاط لكل مستخدم» (أو Net ARPPU).

صيغة اختبار العينتين T (بالتساوي في المجموعات):

[
n_{\text{na group}} =\frac {2, (z_{1-\alpha/2}+z_{1-\beta}) ^ 2 ,\sigma ^ 2} {\Delta ^ 2}
]

مثال: نريد التقاط Δ = 5 نقاط، σ = 120، α = 0. 05 (ثنائي الجانب)، الطاقة 80٪ (β = 0. 2).

(z_{1-α/2}=1{,}96)، (z_{1-β}=0{,}84) → المجموع 2. 8 → المربع 7. 84.

(/sigma ^ 2 = 14400).

(n =\frac {2\ضرب 7 {,} 84\ضرب 14400} {25 }\حوالي\frac {225792} {25 }\حوالي 9032) لكل مجموعة.

💡 المجموع: ~ 9 100 مستخدما لكل مجموعة (بهامش الرفض ومضاد التجارب).

6) تقليل التشتت: جعل الاختبار «أرخص»

CUPED: تعديل الانحدار للتغيرات السابقة للاختبار (على سبيل المثال، النقاط/الأسعار للأسبوع الماضي).

Covariates: payer-flag, log-transformations of turnover, activity, platform, geo.

تجميع الأخطاء: على مستوى المستخدم (جلسات متكررة داخل).

7) التدخل و «المضايق»

يمكن أن تؤثر قاعدة النقاط على أكثر من مجرد مشاركين في الاختبار:

المقارنة الاجتماعية (مجلس القادة المشترك) → «spillover».
الجوائز المشتركة/البعثات المشتركة → تأثير متقاطع.

الحلول:

لوحات الصدارة المنفصلة حسب المجموعة أو التطبيع الخفي للنقاط.
التوزيع العشوائي للمجموعات حسب حركة المرور/المجموعات الجغرافية (أغلى ثمناً ولكنه أنظف).
لكل بروتوكول (ITT) + المقايسات الحساسة.

8) Antifraud وفم القواعد

أي تغييرات في النظارات تحفز التحسين: الرهانات الدقيقة، البوتوفودستفو، «مزارع النظارات».

الحد الأدنى من الحماية:

حد أقصى للنقاط في الدقيقة/الساعة/اليوم ولرهان واحد.
الحد الأدنى من تقلب الرهانات (حظر التسلسلات «المثالية»).
الكشف عن بصمات الأصابع مقطوعة الرأس/المتكررة، بالوكالة.
تأخر التحقق من الجوائز الكبيرة + KYC.
التحليلات: قارن توزيع «النقاط/الرهانات» و «النقاط/الدقائق»، ابحث عن الذيول.

9) مخطط الأحداث والبيانات (الحد الأدنى)

الأحداث:

'session _ start {user_id, ts, platform}'
'event _ view {user_id, event_id, ts}'
'event _ join {user_id, event_id, ts}'
'نقاط _ منحت {user_id، event_id، rule_id، المبلغ، المصدر، ts}'
'mission _ progress {user_id, mission_id, step, value, ts}'
'mission _ complete {user_id, mission_id, ts}'
'bet {user_id, game_id, bet, win, ts}'
'deposit {user_id, amount, ts}'

الكتب المرجعية:

'rules {rule_id, name, params, caps_minute, caps_hour, caps_day, version}'
'إشارات {user_id، test_id، مجموعة، assigned_at}'

10) رسومات SQL للتحليل

فحص SRM (تخصيص المجموعة):

sql
حدد المجموعة، عد () كمستخدمين
من التعيينات
حيث test_id =: اختبار
المجموعة حسب المجموعة ؛
- المزيد من chi-quared مقابل الكسور المتوقعة

المشاركة/الإنجاز حسب المجموعة:

sql
المؤهلة AS (
حدد user_id من المستخدمين
أين last_active_at> =: البدء - الفاصل الزمني «14 يومًا»
)، انضمت إلى AS (
اختر user_id متميزة من event_join
أين event_id =: حدث وبين: بدء و: نهاية
)، بدأ AS (
اختر user_id متميزة من mission_progress
ما بين: البداية والنهاية mission_id (: البعثات)
)، اكتملت AS (
اختر user_id متميزة من mission_complete
ما بين: البداية والنهاية mission_id (: البعثات)
)
SELECT a. group, COUNT (DISTINCT j.  (DISTINCT e. ) AS , COUNT (DISTINCT  (DISTRET ) AS, COUNT (DISTRECT C. )
من المؤهلين (هـ)
ضم المهام أ (user_id)
انضم اليسار إلى J باستخدام (user_id)
بدأ الانضمام الأيسر باستخدام (user_id)
الانضمام الأيسر مكتمل ج باستخدام (user_id)
حيث a. test_id =: اختبار
المجموعة حسب المجموعة ؛

صافي ARPPU وقيمة الجوائز/المكافآت:

sql
مع المدفوعين AS (
اختر user_id متميزة من المدفوعات
أين بين: ابدأ ونهاية
)، Rev AS (
اختر user_id، SUM (gr) AS ggr
من الإيرادات
أين بين: ابدأ ونهاية
حسب user_id
)، التكاليف AS (
حدد user_id، SUM (جائزة + مكافأة) كتكلفة
من promo_costs
أين بين: ابدأ ونهاية
حسب user_id
)
SELECT a. group, AVG (COLESCE (r. gr, 0) - CONLESCE (c. التكلفة، 0)) تصفية (حيث user_id ليست باطلة) كما net_arppu
من التعيينات (أ)
LEFT JOIN Payors P USING (user_id)
LEFT JOIN R USING (user_id)
تكاليف الانضمام اليسرى (ج) باستخدام (user_id)
حيث a. test_id =: اختبار
المجموعة حسب المجموعة ؛

CAPPED (مثال):

sql
- pre_value: نظارات/إيرادات ما قبل الاختبار ؛ القيمة: أثناء الاختبار
SELECT group, AVG (value - theta pre_value) AS cuped_mean
من
SELECT a. group, , x.value, , (SELECT  (value,  )/ 
من س) ثيتا
من التعيينات (أ)
انضم X ON x.user_id = a. user_id
حيث a. test_id =: اختبار
) ر (
المجموعة حسب المجموعة ؛

11) الآثار الجزئية وعدم التجانس

تحقق من تأثيرات HET:

المبتدئين مقابل النواة، منخفضة القيمة مقابل منصات/جو مختلفة عالية القيمة.
في بعض الأحيان، «تضيء» الصيغة الجديدة للنظارات في منتصف النواة دون تغيير الحيتان - هذه هي النتيجة المرجوة.
أقسام التسجيل المسبق حتى لا تصطاد «p-hacking».

12) الفخاخ المتكررة

1. مجلس قيادة مشترك لجميع المجموعات → التدخل.

2. تغيير هيكل الجائزة أثناء الاختبار → عدم المقارنة.

3. الرهان الدقيق للنظارات → رفع غير صالح.

4. SRM والمرشحات العائمة في ETL → تقديرات متحيزة.

5. الاعتماد على ARPPU «القذرة» دون خصم الجوائز/المكافآت.

6. توقف مبكرًا بسبب التقلبات دون إحصائيات متسلسلة صحيحة.

13) Bayes مقابل التردد والقرارات المتتالية

الإطار: يمكنك استخدام نهج Bayesian (الاختلاف الخلفي في المقاييس، والاحتمال «B أفضل من A»)، خاصة عند المراقبة بمرور الوقت.

الحذر: قطاع الطرق لقواعد النظارات مناسبون بعد رفع مؤكد - في مرحلة التشغيل، وليس عند التحقق الأولي.

14) اللعب المسؤول والامتثال

قواعد وقبعات شفافة: يجب أن يفهم اللاعب كيف يكسب النقاط.

حدود النشاط والودائع و «التوقف» و RG.

لا توجد «عقوبات» خفية لأسلوب اللعب.

15) علبة صغيرة (صناعية)

السياق: حدث أسبوعي، A = «نقاط للرهان €1،» B = «نقاط بالفوز/الرهان المضاعف، الحد الأقصى = 50/الرهان».

الحجم: 2 × 10000 مستخدم، مقسمة حسب حالة الدافع. SRM - تقريبًا.

النتائج:

Participation_net: A 17,3% → B 22,1% (+ 4,8 п. п.) .
الإنجاز: 38.9٪ → B 44.0٪ (+ 5.1 п. п.) .
صافي ARPPU: €41. 2 → باء €43. 5 (+ €2. 3) مع جائزة + مكافأة لكل دافع ≈ €6. 4 (دون تغيير).
Complaints/1k: دون تغيير ؛ أعلام الاحتيال ↓0,3 pp بسبب القبعات.
الاستنتاج: القاعدة باء - الفائز ؛ نتوسع مع «الذيل الطويل» من الجوائز وننقذ واقي الفم.

16) قائمة التحقق من إطلاق النقاط A/B

الوحدة = المستخدم، التعيين اللزج، التقسيم الطبقي.
لوحات قيادية منفصلة/تطبيع لإزالة التداخل.
مسح القبعات للنظارات، والإشارات المضادة للروبوت، و KYC للفائزين الرئيسيين.
التسجيل المسبق للفرضيات والمقاييس (الأولية/الثانوية/حواجز الحماية).
خطة القدرة والمدة، مع مراعاة الموسمية.
CUPED/covariates متصلة، تنبيهات خط الأنابيب SRM.
Дашборд «الوصول إلى المشاركة → → التقدم المحرز → الإنجاز → القيمة».
تقرير: زيادة في المال بعد الجوائز/المكافآت، ذيل الأثر اللاحق.

قاعدة التسجيل هي رافعة للسلوك. يتيح لك اختبار A/B المصمم بشكل صحيح (بدون SRM، مع مكافحة الاحتيال والمتغيرات) زيادة المشاركة والإكمال و Net ARPPU بأمان، مع الحفاظ على ثقة اللاعب واقتصاديات الحملة.