Λίμνη δεδομένων και DWH για καζίνο: σχηματικά, τηλεφορτώσεις SLA

Πλήρες άρθρο

💡 18+. Τεχνικό υλικό για πλατφόρμες/φορείς εκμετάλλευσης, στούντιο και ομάδες ανάλυσης. Δεν είναι μια κλήση για να παίξει. Με πλατφόρμα εννοούμε PAM/πορτοφόλι/ταμίας/μπόνους/RG, από παρόχους - RGS/live/jackpots/payment integrations.

1) Γιατί Καζίνο λίμνης δεδομένων και DWH

Υποβολή εκθέσεων και συμμόρφωση: ρυθμιστικές μεταφορτώσεις (GGR/NGR, KYC/AML, RG), έλεγχος χρημάτων.

Προϊόν/εμπορία: LTV/διατήρηση, κατάτμηση, A/B, συστάσεις.

Πράξεις: παρακολούθηση παρόχων, PSP, SLA live games και ταμειακών μητρώων.

Λύσεις δεδομένων: ταχείες αποθήκες (DWH) πάνω από φθηνή μακροπρόθεσμη αποθήκευση (λίμνη).

Κάτω γραμμή: Η λίμνη αποθηκεύει ωμά και καθαρισμένα στρώματα, η DWH δίνει γρήγορα ερωτήματα και διαχειρίζεται μοντέλα.

2) Αρχιτεκτονική αναφοράς (λιμνοθάλασσα)


Πηγές (OLTP, Kafka, Webhooks, CDC)
│
(ακατέργαστο, μόνο προσθήκη· Parquet/Delta/Iceberg)
 , , καμία αλλαγή σχήματος
(καθαρίζεται, συμμορφώνεται· dedup, μάσκα PII, SCD2)
επιχειρηματικά κλειδιά, περιορισμοί, ποιοτικοί έλεγχοι
(marts· άστρο/νιφάδα χιονιού· πίνακες κύβων, συγκεντρωτικά στοιχεία)
Κινητήρες (Snowflake/BigQuery/Trino/Spark SQL)

Δέλτα Λίμνη/Απάτσι Iceberg/Hudi (λίμνη ACID , ταξίδι στο χρόνο, MERGE).

Αρχεία: Parquet + ZSTD/Snappy, στόχος ~ 128-512 MB; συμπίεση «μικρού αρχείου».

Κατάλογος: Hive/Unity/Iceberg Catalog; χάλκινα/ασημένια/χρυσά κουβάδες ζωνών ανά περιφέρεια/ενοικιαστή.

3) Συστήματα τομέων (εννοιολογικά)

3. 1 Πορτοφόλι/Λογιστική

'wallet _ entry': 'entry _ i ,' account _ i , 'direction (debit)	πίστωση) "," ποσό _ ήσσονος σημασίας "," νόμισμα "," λόγος "," αναφορά _ i , "συνέβη _ στο", "περιφέρεια", "ενοικιαστής _ i ," trace _ id "," idempotency _ key ".
Αμετάβλητο: ποσό λογαριασμού = υπόλοιπο (μέσω στιγμιότυπου + καταγραφής μεταβολών).

3. 2 Στοιχήματα/Διακανονισμός (ΣΕΚ/ζώντα)

'bet': 'bet _ i ,' round _ id ',' player _ i , 'game _ i ,' stake _ minor ',' current ',' placed _ at ',' brand/region ',' provider _ i , 'in _ bonus'.

'settlement': 'settlement _ i ,' bet _ i , 'round _ i ,' win _ minor ',' settled _ at ',' jackpot _ hit ',' bonus _ state '.

3. 3 Πληρωμές (ταμειακή υπηρεσία/πάροχος υπηρεσιών πληρωμών/κρυπτογράφηση)

'payment _ intent': 'intent _ i ,' player _ i , 'method', 'status', 'country', 'number', 'psp', 'created _ at'.

'capture/return/chargeback': χωριστοί πίνακες με αναφορές σε 'intent _ i ,' psp _ ref ', κωδικούς λόγου.

: 'txid', 'network', 'επιβεβαιώσεις', 'finalized _ a Крипто.

3. 4 Μπόνους/βαγόνια/τζάκποτ

'bonus _ gran ,' bonus _ progress (stager) ',' jackpot _ contribution ',' jackpot _ payou .

3. 5 Αναφορές και μετρήσεις

'dim _ player' (ψευδο-ID, geo, κανάλια, καταστάσεις RG - χωρίς PII στην ανάλυση), 'dim _ game', 'dim _ provider', 'dim _ psp', 'dim _ brand', 'dim _ region', διαστάσεις ημερολογίου.

Κλειδιά και συμβατότητα: σε μοντέλα Silver/Gold - σταθερά επιχειρηματικά κλειδιά ('bet _ i ,' round _ id ',' payout _ id ',' intent _ id ') και σημασιολογία γεγονότων «idempotent».

4) Ροές τηλεφόρτωσης: Streaming + Microbatch

Streaming (Kafka/Pulsar → Bronze): OLTP και webhook events, outbox/CDC, τουλάχιστον μία φορά εγγυάται με αφαίρεση στο ασήμι.

CDC (Debezium/replication log): αλλαγή πινάκων OLTP (πορτοφόλι/πληρωμές) → Bronze.

Μικροεπεξεργασίες: PSP/τράπεζα/προσαρμοσμένες αναφορές (SFTP/API) → Bronze Raw Files → ομαλοποίηση.

MERGE in Silver: dedup by 'idempotency _ key/event _ id', exlination of latecomers ('watermark'), SCD2 on measurements.

5) τηλεφορτώσεις SLA και καθυστερημένο παράθυρο (υδατογραφήματα)

5. 1 Τυπικές SLA (ορόσημα)

Εκδηλώσεις πορτοφολιού/βιβλίου: χάλκινο ≤ 1-2 λεπτά, ασημένιο ≤ 5-10 λεπτά, χρυσό μάρτυρα ≤ 15 λεπτά

Στοιχήματα/οικισμοί: χάλκινο ≤ 1-2 λεπτά, ασήμι ≤ 10 λεπτά, χρυσό ≤ 30 λεπτά

Πληρωμές (webhooks PSP): Bronze ≤ 5 λεπτά, Silver ≤ 15 λεπτά, Gold ≤ 30-60 λεπτά.

Τελικότητα κρυπτογράφησης: εξαρτώμενη από το δίκτυο. περιπτώσεις εμφάνισης με lag N επιβεβαιώσεις.

Ημερήσιες αναφορές PSP/τράπεζας: T + 1 έως 09:00 τοπική ώρα της περιοχής.

5. 2 Καθυστερημένα παράθυρα

Υδατογράφημα ανά χρόνο εκδήλωσης ('συνέβη _ a ) + ανοχές:

πορτοφόλι/στοιχήματα: 24-48 ώρες, πληρωμές/PSP: 72 ώρες (υπάρχουν ρετρό webhooks), κρυπτογράφηση: έως 24 ώρες για σπάνιες επαναλήψεις.
Μεταγενέστερα γεγονότα της επανεπεξεργασίας: επανυπολογισμός των χρυσών παραθύρων σταδιακά (MERGE), καταγραφή διόρθωσης.

5. 3 Ανακοίνωση SLA

Ο κατάλογος δεδομένων περιέχει χαρακτηριστικά SLA: 'φρεσκάδα _ στόχος', 'φρεσκάδα _ κατάσταση', 'αναμενόμενη _ lag _ p95', 'υδατογράφημα'.

Ταμπλό «φρεσκάδας» με ειδοποιήσεις κατά παράβαση.

6) Ποιότητα δεδομένων (DQ) και συμβάσεις

Συμβάσεις δεδομένων για κάθε θέμα: συστήματα Avro/JSON, semver, απαιτούμενα πεδία, επιχειρηματικές αναλλοίωτες (για παράδειγμα, «win _ minor ≥ 0», «νόμισμα ∈ ISO-4217»).

Έλεγχοι Silver DQ: βασική μοναδικότητα, ακεραιότητα αναφοράς, έλεγχος ισορροπίας (αντιπαραβολή πορτοφολιών), εγκυρότητα κωδικών/λόγων PSP, εύρος ημερομηνιών.

Σοβαρότητα: 'ERROR' (μπλοκάρισμα), 'WARN' (σήμανση), 'INFO'.

Παρακολούθηση:% παραβιάσεις, βασικοί λόγοι, αυτόματα εισιτήρια.

Δειγματοληψία & επανάληψη: Αποθήκευση ακατέργαστου χαλκού για ανακύκλωση.

7) PII, διαμονή και ασφάλεια

Η PII-showcase διαχωρίζεται από την αναλυτική: σε Silver/Gold - ψευδώνυμο, μάσκα/hashes, μαρκινοποίηση.

Κατοικία δεδομένων: EU/UK/BR κ.λπ. - φυσικά χωριστοί κουβάδες/κατάλογοι· καμία διαπεριφερειακή ανάγνωση χωρίς συγκατάθεση και πληρεξούσια.

RBAC/ABAC (λίμνη/DWH), ασφαλείας σε επίπεδο γραμμής «ενοικιαστής/εμπορικό σήμα/περιφέρεια».

Κρυπτογράφηση: κατά την ανάπαυση (KMS) και κατά τη διαμετακόμιση, ανά περιφέρεια/εμπορικό σήμα, έλεγχος της πρόσβασης από το WORM και αλλαγές πολιτικής.

Το δικαίωμα να ξεχαστεί κανείς: ένας μηχανισμός εντοπισμού των δεδομένων του παιχνιδιού χωρίς διαγραφή οικονομικών αρχείων (απο-ταυτοποίηση).

8) Μοντελοποίηση χρυσού παραθύρου (Star)

8. 1 Πραγματικοί πίνακες

'fact _ bets', 'fact _ wallet _ entries', 'fact _ payments', 'fact _ bonus _ stager', 'fact _ jackpot'.

8. 2 Μετρήσεις

'dim _ date/time', 'dim _ player' (ψευδώνυμο), 'dim _ game', 'dim _ provider', 'dim _ psp', 'dim _ brand', 'dim _ region', 'dim _ current'.

8. 3 Μετρήσεις και υπολογισμοί

GGR/NGR, hold/frequency, RTP (ανά παιχνίδι/πάροχο/περιφέρεια), μετατροπή καταθέσεων, διακανονισμός υστέρησης, PSP ποσοστού επιτυχίας, κόστος ανά επιτυχία, FX-PnL, συνεισφορές/πληρωμές τζάκποτ.

9) Επιδόσεις και κόστος

Κατάτμηση: από 'συνέβη _ ημερομηνία' + 'περιοχή/ενοικιαστής', μερικές φορές 'παιχνίδι _ i for Χρυσά μεγέθη.

Clustering/Z-order: by 'player _ id', 'game _ id', 'psp', 'currency'.

Συμπίεση και κενό: σχεδιασμένη 'OPTIMIZE/COMPACT', αφαίρεση εκδόσεων «κρεμασμένων» (λαμβάνοντας υπόψη τις νομικές κρατήσεις).

Κρύπτες: κρύπτη/κρύπτη αποθήκης, υλοποιημένη θέα για θερμά πάνελ.

Δείκτες σε DWH: σύμπλεγμα/τμήμα (πλήκτρα συστάδων νιφάδων χιονιού, κατάτμηση BigQuery + σύμπλεγμα).

Κόστος: Κρύο χάλκινο σε αποθήκευση αντικειμένων, μονάδες θερμού χρυσού/Μαρτίου σε DWH. αυτόματη στάθμευση/αυτόματη κλίμακα.

10) Γραμμή, κατάλογοι και τεκμηρίωση

Κατάλογος δεδομένων (OpenMetadata/Amundsen/Collibra): περιγραφή πίνακα, ιδιοκτήτης, SLA, πεδία PII, πολιτικές πρόσβασης.

Γραμμή: από την πηγή (event/CDC) έως την προβολή και την αναφορά. ορατότητα των περιορισμών για ασφαλείς αλλαγές.

Συστήματα Changelog: semver και journal of deprecates. δοκιμές συμβατότητας σε αγωγούς CI.

11) Συμφιλίωση

Ηµερησίως:

'wallet _ entry' ↔ συνολικά υπόλοιπα (συσσώρευση ≡ στιγμιότυπο), πληρωμές: PSP/τραπεζικές αναφορές ↔ 'fact _ payments', crypto: 'txid/network' ↔ 'fact _ payments'.
: 'match', 'timing', 'λείπει _ πηγή', 'λείπει _ πλατφόρμα', 'ποσό _ αναντιστοιχία'.
Καταχωρίσεις: αναλογία «αναντιστοιχίας»> κατωφλίου. εκκρεμούσα ηλικία> N ημέρες.

12) Παράδειγμα πίνακες SLA (παράδειγμα)

Πεδίο	Χάλκινο (κατάποση)	Άργυρος (καθαρισμός)	Χρυσός (Μάρτιος)	Καθυστερημένα γεγονότα (υδατογράφημα)
Πορτοφόλι	min	min	min	48 ώρες
Στοιχήματα/Διακανονισμοί	min	min	min	48 ώρες
Πληρωμές (ΠΥΠ)	min	min	min	72 h
Crypto	realtime→finalnost	min	min	24 ώρες
Εκθέσεις (T + 1)	06:00–08:00	≤09:00	≤10:00	7 d

13) Αγωγοί: από τι συλλέγουμε

Κατάποση: Kafka Connect/Debezium, υπηρεσίες κατάποσης νεφών, πολτοί SFTP.

ETL/ELT: Spark/DBT/Trino/Beam/Flink (streaming Silver), Airflow/Argo για ενορχήστρωση.

Ποιότητα: Μεγάλες προσδοκίες/δοκιμές Del/dbt.

Παρακολούθηση: OpenTelemetry + Lake/DWH metrics (καθυστέρηση φρεσκάδας, καθυστέρηση εργασίας, κόστος).

Ατυχήματα και επαναλήψεις: επανεπεξεργασία από το χάλκινο, αποσύνθεση με κλειδιά, μετατροπείς αγωγών.

14) Κατάλογοι ελέγχου

Αρχιτεκτονική και ασφάλεια

Lakehouse format (Delta/Iceberg/Hudi) with ACID and time travel.
Split 'bronze/silver/gold', outbox/CDC ως κύριες πηγές.
απομόνωση PII, μαρκινοποίηση, RLS από «ενοικιαστή/εμπορικό σήμα/περιφέρεια».
Κατοικία σε επίπεδο κάδου/καταλόγου, κλειδιά/μυστικά ανά περιφέρεια.
Ο έλεγχος των σχημάτων/πολιτικών/κανόνων πρόσβασης του WORM αλλάζει.

Ποιότητα και SLA

Συμβάσεις δεδομένων και συστήματα SEMPER· δοκιμές συμβατότητας.
Υδατογραφήματα και επανεπεξεργασίες, στοιχειώδεις εκθέσεις MERGE.
Ταμπλό φρεσκάδας και καταχωρίσεις SLA· ιδιοκτήτης για κάθε πίνακα.
Συμφωνία με πορτοφόλι/πληρωμές/κρυπτογράφηση.

Επιδόσεις και κόστος

Κατάτμηση και ομαδοποίηση· συμπίεση «μικρού αρχείου».
Υλοποιημένες εκθέσεις για βασικές εκθέσεις.
Autoscale/Auto-Parking, Πολιτική διατήρησης και Αρχεία.

15) Κόκκινες σημαίες (αντίγραφα)

Οι BI και οι κανονιστικές εκθέσεις έπληξαν άμεσα την OLTP.

Το χάλκινο «ξαναγράφει» και χάνει ανεπεξέργαστα δεδομένα.

Δεν υπάρχουν υδατογραφήματα, τα καθυστερημένα γεγονότα είναι «κατακερματισμένα».

Καμία αφαίρεση στο 'idempotency _ key '/' event _ id' → επαναλήψεις στο Gold.

PII και χρήματα από διάφορες περιοχές διατηρούνται μαζί χωρίς RLS και κατοικία.

Τα συστήματα αλλάζουν «αθόρυβα» (χωρίς semver/συμβάσεις), σπάζοντας παράθυρα καταστημάτων.

Εκατομμύρια μικρά μη συμπιεσμένα αρχεία Parquet → ακριβά αιτήματα.

Δεν υπάρχουν ταμπλέτες SLA/φρεσκάδας. «εκπλήξεις» στην τριμηνιαία παροχή στοιχείων.

16) Συμπέρασμα

Η λίμνη δεδομένων + DWH στο iGaming δεν είναι απλώς μια αποθήκευση, αλλά ένα ελεγχόμενο οικοσύστημα: τυποποιημένα συστήματα και συμβάσεις, λίμνη ACID, καθαρή φρεσκάδα SLA και καθυστερημένα παράθυρα, ποιότητα και γραμμικότητα, ασφάλεια PII και κατοικία. Προσθήκη εξοικονόμησης συμφιλίωσης και κατάτμησης/συμπίεσης - και έχετε μια βάση για την υποβολή εκθέσεων, λύσεις προϊόντων και επιχειρηματική κλιμάκωση χωρίς νυχτερινές μεταναστεύσεις και χειροκίνητο Excel.