Data Lake and DWH עבור בתי קזינו: שרטוטים, הורדות SLA

מאמר מלא

💡 18+. חומר טכני לפלטפורמות/מפעילים, אולפנים וצוותים אנליטיים. לא שיחה לשחק. על ידי פלטפורמה אנחנו מתכוונים PAM/ארנק/קופאית/בונוסים/RG, על ידי ספקים - RGS/Live/jackpots/company integrations.

1) מדוע קזינו דאטה לייק ו ־ DWH

דיווח ותאימות: העלאות רגולטוריות (GGR/NGR, KYC/AML, RG), ביקורת כספים.

מוצר/שיווק: LTV/שימור, קטעים, A/B, המלצות.

מבצעים: ניטור ספקים, PSP, SLA משחקים חיים וקופות מזומנים.

פתרונות נתונים: חנויות מהירות (DWH) על גבי אחסון זול לטווח ארוך (Lake).

שורה תחתונה: אגם מאכסן שכבות גלם וניקוי, DWH נותן שאילתות מהירות ומודלים מנוהלים.

2) ארכיטקטורת התייחסות (בית האגם)


מקורות (OLTP, קפקא, Webhooks, CDC)
│
├─Bronze (נא, אפנד בלבד; פרקט/דלתא/קרחון)
│ ingestion_time, source_metadata, אין שינויים בתכנית במקום
├─Silver (נוקה, מותאם; dedup, מסווה PII, SCD2)
│ מפתחות עסקיים, אילוצים, בדיקות איכות
└─Gold (מארט; כוכב/פתית שלג; שולחנות קובייה, אגרגטים)
מנועי └─DWH/Query (פתית שלג/ביגקווירי/טרינו/ניצוץ SQL)

אגם דלתא (Delta Lake/Apache Iceberg/Hudi), אגם חומצה, מסע בזמן, מיזוג.

קבצים: Parquet + ZSTD/Snappy, המטרה ~ 128-512 MB; ”קובץ קטן” דחיסה.

קטלוג: כוורת/אחדות/קטלוג קרחון; אזורי ברונזה/כסף/זהב דליים לכל אזור/דייר.

3) מזימות דומיין (מבחינה רעיונית)

3. 1 ארנק/חשבונאות

”wallet _ inst':” כניסה _ id', ”חשבון _ id',” כיוון (חיוב)	"אשראי", "סכום _ מינור", "מטבע", "סיבה", "התייחסות _ id'," התרחש "," אזור "," דייר _ id', "trace _ id'," idempotency _ key ".
אינווריאנט: סכום חשבון = שיווי משקל (באמצעות צילום + רישום שינוי).

3. 2 הימורים/התיישבות (RGS/Live)

'bet': 'הימור _ id',' סיבוב _ id', 'שחקן _ id',' משחק _ id', 'יתד _ מינור', 'מטבע', 'ממוקם _ at',' מותג/אזור ',' ספק _ id', 'in _ bond'.

'Settlement': 'הסדר _ id',' הימור _ id', 'סיבוב _ id',' win _ minor ',' התיישב _ at', 'ecpot _ hit', 'בונוס _ state'.

3. 3 תשלומים (שולחן מזומן/PSP/קריפטו)

"payment _ כוונה": "כוונה _ id'," שחקן _ id', "שיטה", "סטטוס", "סכום", "מטבע", "psp", "נוצר _ at'.

'capture/החזר/chargback': שולחנות נפרדים עם אזכורים של 'intent _ id',' psp _ ref ', codes סיבה.

טיפול: "txid'," רשת "," אישור "," סופי _ at ".

3. 4 בונוסים/ואגר/קופות

'bonus _ grant', 'bonus _ progress (הימור)', 'procept _ thrame', 'perpot _ payout'.

3. 5 אזכורים ומידות

'dim _ player' (פסאודו-ID, geo, ערוצים, RG statuses - ללא PII באנליטיקה), 'dim _ game', 'dim _ diver', 'dim _ disp', 'dim _ psp', 'dim _ brand', ממדי לוח שנה.

מפתחות ותאימות: במודלים כסף/זהב - מפתחות עסקיים יציבים (”bet _ id',” round _ id', ”payout _ id',” כוונה _ id') וסמנטיקה של אירועים ”אידמפוטנטיים”.

4) הורד זרמים: הזרמת + Microbatch

זרימה (Kafka/Pulsar = Bronze): אירועי OLTP ו-Webhook, Outbox/CDC, לפחות פעם אחת מבטיחים עם שכפול בכסף.

CDC (רישום דבזיום/שכפול): שינוי שולחנות OLTP (ארנק/תשלומים) * ברונזה.

Microbatsches: PSP/Bank/Furmated Reports (SFTP/API) # Bronze Raw Files # Normalization.

Merge in Silver: dedup by 'idempotency _ key/event _ id', חיסול של איחורים (' watermark '), SCD2 על מדידות.

5) הורדות SLA וחלון מאוחר (סימני מים)

5. 1 SLAs טיפוסי (ציוני דרך)

ארועי ארנק/ספר חשבונות: Bronza liage 1-2 min, Silver lood 5-10 min, Gold marts it 15 min

הימורים/יישובים: Bronza malage 1-2 min, Silver shood 10 min, Gold Loo 30 Min

תשלומים (PSP webhooks): ברונזה, 5 דקות, כסף, 15 דקות, זהב, 30-60 דקות.

סיום קריפטו: תלות ברשת; הצג תיקים עם אישורים של לג-אן.

דיווח יומי של PSP/Bank: T + 1 עד 09:00 זמן מקומי של האזור.

5. 2 חלונות מאוחרים

סימן מים לפי זמן אירוע ("התרחש _ at') + סובלנות:

ארנק/הימורים: 24-48 שעות, תשלומים/PSP: 72 שעות (יש רטרו webooks), קריפטו: עד 24 שעות עבור reorgs נדירים.
אירועים מאוחרים יותר של עיבוד מחדש: חישוב מחדש של חלונות זהב (MERGE), רישום תיקון.

5. 3 תקשורת SLA

קטלוג הנתונים מכיל תכונות של SLA: ”treeness _ target”, ”treeness _ status”, ”advanced _ lag _ p95”, ”watermark”.

לוחות מחוונים של ”רעננות” עם התראות בהפרה.

6) איכות נתונים (DQ) וחוזים

חוזי נתונים לכל נושא: סכימות Avro/JSON, Semver, שדות דרושים, אינווריאנטים עסקיים (לדוגמה, win _ minor diminor 0 ',' מטבע ISO-4217 ').

בדיקות DQ כסופות: ייחודיות מפתח, שלמות הפניה, בדיקת שיווי משקל (פיוס ארנק), תקפות של קודי PSP/סיבות, טווחי תאריך.

חומרה: ”שגיאה” (חסימה), ”אזהרה” (סימון), ”מידע”.

ניטור:% הפרות, סיבות עליונות, כרטיסים אוטומטיים.

דגימה & חוזר: לאחסן ברונזה גולמית למחזור.

7) מח "ש, תושבות ובטיחות

תערוכת PII מופרדת מאנליטיקה: בכסף/זהב - שם בדוי, מיסוך/חשיש, אסימונים.

תושבות נתונים: EU/UK/BR וכו '- דליים/קטלוגים נפרדים פיזית; אין קריאה חוצה-אזורית ללא הסכמה וללא שליח.

RBAC/ABAC (אגם/DWH), אבטחה ברמת שורה 'דייר/מותג/אזור'.

הצפנה: at-rest (KMS) ו-in-transit, לכל מפתחות אזור/מותג, ביקורת תולעת של שינויי גישה ומדיניות.

הזכות להישכח: מנגנון לאיתור נתוני משחק ללא מחיקת רישומים פיננסיים (דה-זיהוי).

8) דוגמנות חלון זהב (כוכב)

8. טבלאות ממשיות 1

'fact _ bets',' עובדה _ ארנק _ כניסות ',' עובדה _ תשלומים ',' עובדה _ בונוס _ הימור ',' עובדה _ כל הקופה '.

8. 2 מדידות

'dim _ date/time', 'dim _ player' (שם בדוי), 'dim _ game', 'dim _ diver', 'dim _ psp', 'dim _ brang', 'dim _ region', 'dim _ country'.

8. 3 מדדים וחישובים

GGR/NGR, Hold/Frequency, RTP (על ידי משחק/ספק/אזור), המרת הפקדה, יישוב לאג, הצלחה-שיעור PSP, עלות-פר-הצלחה, FX-PnL, תרומות/תשלומים.

9) ביצועים ועלות

מחיצה: by "cased _ date" + "region/derant', לפעמים" game _ id' for gold aggregates ".

התקבצות/Z-Order: by ”player _ id',” game _ id', ”psp”, ”מטבע”.

דחיסה וריק: תוכנן: OPTIMIZE/COMPACT, הסרת גרסאות ”תלויות” (לקיחת בחשבון חזרה חוקית).

מטמונים: מטמון תוצאה-מטמון/מחסן, נופים ממומשים עבור לוחות חמים.

Indexes in DWH: אשכול/קטע (מקשי אשכול פתיתי שלג, מחיצת ביגקווירי + אשכול).

עלות: ברונזה קרה באחסון אובייקטים, יחידות זהב/מרץ חם ב DWH; חניה אוטומטית/קנה מידה אוטומטי.

10) שושלת, קטלוגים ותיעוד

קטלוג נתונים (OpenMetadata/Amundsen/Collibra): תיאור טבלה, בעלים, SLA, שדות PII, מדיניות גישה.

שושלת: ממקור (אירוע/מרכז לבקרת מחלות) לראווה ודיווח; ראות של אילוצים לשינויים בטוחים.

מזימות צ 'אנגלוג: סמבר ויומן של מושחתים; מבחני תאימות בצינורות המודיעים.

11) פיוס

מדי יום:

'wallet _ insin' ↔ סה "כ מאזנים (הצטברות צילום), תשלומים: PSP/בנק מדווח ↔" עובדה _ תשלומים ", קריפטו:" txid/network "↔" עובדה _ תשלומים ".
Catulet: ”התאמה”, ”תזמון”, ”חסר _ מקור”, ”חסר _ פלטפורמה”, ”כמות _ אי התאמה”.
התראות: פרופורציה של ”חוסר התאמה”> סף; הזדקנות מצטיינת> ימים.

12) טבלאות SLA לדוגמה

תחום	ברונזה (בלע)	כסף (ניקיון)	זהב (מרץ)	אירועים מאוחרים (סימן מים)
ארנק	land2 min	רישום 10 דקות	דק 15 דק	48 אייץ '
הימורים/התנחלויות	land2 min	רישום 10 דקות	פינת רחוב 30 דקות	48 אייץ '
תשלומים (PSP)	land5 min	דק 15 דק	דק 60 דק	72 אייץ '
קריפטו	realtime _ finalnost	דק 15 דק	דק 60 דק	24 אייץ '
דיווחים (T + 1)	06:00–08:00	≤09:00	≤10:00	7 ד '

13) צינורות: ממה אנו אוספים

בליעה: Kafka Connect/Debezium, שירותי בליעת ענן, פולרי SFTP.

ETL/ELT: Spark/DBT/Trino/Beam/Flink (זרימת כסף), Airflow/Argo לתזמור.

איכות: תקוות גדולות/מבחני דקו/dbt.

ניטור: OpenTelemetry + Lake/DWH metrics (עיכוב רעננות, איחור עבודה, עלות).

תאונות וחזרה: עיבוד חוזר מברונזה, דידאפ עם מפתחות, צינורות.

14) רשימות בדיקה

ארכיטקטורה וביטחון

פורמט [ ] Lakehouse (דלתא/קרחון/האדי) עם חומצה ומסע בזמן.

[ ] ספליט 'ברונזה/כסף/זהב', Outbox/CDC כמקורות עיקריים.

[ ] בידוד PII, אסימון, RLS על ידי 'דייר/מותג/אזור'.

[ ] Bucket/ספרייה ברמת תושבות, מפתחות/סודות לאזור.

[ ] ביקורת תולעת של סכימה/מדיניות/כלל גישה משתנה.

איכות ו ־ SLA

[ ] Data Contracts ותוכניות Semver; מבחני תאימות.

[ ] סימני מים ועיבוד מחדש, תערוכות מיזוג מצטברות.

[ לוחות מחוונים ] רעננים והתראות SLA; בעלים של כל שולחן.

[ ] פיוס על ידי ארנק/תשלומים/קריפטו.

ביצועים ועלות

[ ] מחיצות וקיבוצים; ”קובץ קטן” דחיסה.

[ ] תצוגות ממשיות לדיווחי מפתח.

[ ] אוטוסקלה/חניה אוטומטית, מדיניות שימור וארכיון.

15) דגלים אדומים (נגד תבניות)

דו ”חות דו” ח ורגולציה פגעו OLTP ישירות.

ברונזה ”משכתבת” ומאבדת מידע גולמי.

אין סימני מים, אירועים מאוחרים ”מקושרים”.

אין כפילות על "idempotency _ key "/" event _ id' .בגולד.

PII וכסף מאזורים שונים נשמרים יחד ללא RLS ותושבות.

מזימות משתנות ”בשקט” (ללא חוזים/סמבר), ושוברות חלונות חנות.

מיליוני קבצי פרקט קטנים ללא דחיסה * בקשות יקרות.

אין לוחות מחוונים של SLA/רעננות; ”הפתעות” בדיווח רבעוני.

16) מסקנה

Data Lake + DWH ב-iGaming הוא לא רק אחסון, אלא מערכת אקולוגית מבוקרת: תוכניות וחוזים סטנדרטיים, ACID-Lakehouse, רעננות SLA נקייה וחלונות מאוחרים, איכות וליניאריות, אבטחה ותושבות PII. הוסף חיסכון פיוס וחלוקה/מיזוג - ויש לך בסיס לדיווח, פתרונות מוצר ואג "ח עסקי ללא נדידה לילית ואקסל ידני.