कैसिनो के लिए डेटा लेक और डीडब्ल्यूएच: स्कीमैटिक्स, एसएलए डाउनलोड

पूरा लेख

💡 18+. प्लेटफार्मों/ऑपरेटरों, स्टूडियो और विश्लेषणात्मक टीमों के लिए तकनीकी खेलने के लिए कॉल नहीं। प्लेटफ़ॉर्म से हमारा मतलब है PAM/वॉलेट/कैशियर/बोनस/RG, प्रदाताओं द्वारा - RGS/live/जैकपॉट/भुगतान एकीकरण।

1) क्यों डेटा लेक कैसीनो और डीडब्ल्यूएच

रिपोर्टिंग और अनुपालन: नियामक अपलोड (GGR/NGR, KYC/AML, RG), मनी ऑडिट।

उत्पाद/विपणन: LTV/प्रतिधारण, विभाजन, A/B, सिफारिशें।

संचालन: प्रदाताओं, पीएसपी, एसएलए लाइव गेम और नकद रजिस्टरों की निगरानी।

डेटा समाधान: सस्ते दीर्घकालिक भंडारण (झील) के शीर्ष पर तेज स्टोरफ्रंट (DWH)।

नीचे की रेखा: झील कच्ची और साफ परतों को संग्रहीत करती है, DWH त्वरित प्रश्न और प्रबंधित मॉडल देता है।

2) संदर्भ वास्तुकला (लेकहाउस)


स्रोत (ओएलटीपी, काफ्का, वेबहूक, सीडीसी)
│
├─Bronze (कच्चा, केवल एपेंड-; पर्केट/डेल्टा/आइसबर्ग)
│, ingestion_time source_metadata, जगह में कोई स्कीमा नहीं बदलता है
├─Silver (साफ किया गया, अनुरूप; डीडअप, पीआईआई मास्किंग, SCD2)
│ व्यापार कुंजी, बाधाएं, गुणवत्ता जाँच
└─Gold (मार्ट्स; स्टार/स्नोफ्लेक; घन तालिकाएं, कुल मिलाकर)
└─DWH/Query इंजन (स्नोफ्लेक/बिगक्वेरी/ट्रिनो/स्पार्क एसक्यूएल)

Форматы: डेल्टा लेक/अपाचे आइसबर्ग/हुडी (ACID в झील, समय यात्रा, MERGE)।

फ़ाइलें: Parquet + ZSTD/Snappy, लक्ष्य ~ 128-512 MB; "छोटी फ़ाइल" संघनन।

कैटलॉग: हाइव/यूनिटी/आइसबर्ग कैटलॉग; ज़ोन के कांस्य/रजत/सोने की बाल्टी प्रति क्षेत्र/किरायेदार।

3) डोमेन योजनाएं (वैचारिक रूप से)

3. 1 बटुआ/लेखा

'wallet _ entry': 'entry _ id', 'खाता _ id', 'दिशा (डेबिट)	क्रेडिट) ',' राशि _ माइनर ',' मुद्रा ',' कारण ',' संदर्भ _ आईडी ',' क्षेत्र ',' किरायेदार _ आईडी ',' ट्रेस _ आईडी ',' idempotency _ key '।
इनवेरिएंट: खाता राशि = शेष (स्नैपशॉट + परिवर्तन लॉग के माध्यम से)।

3. 2 दांव/निपटान (RGS/लाइव)

'बेट': 'बेट _ आईडी', 'राउंड _ आईडी', 'प्लेयर _ आईडी', 'गेम _ आईडी', 'स्टेक _ माइनर', 'करंट _ एट', 'ब्रांड/क्षेत्र', 'प्रदाता _ आईडी', 'इन _ बोनस'।

'सेटलमेंट': 'सेटलमेंट _ आईडी', 'बेट _ आईडी', 'राउंड _ आईडी', 'विन _ माइनर', 'सेटपॉट _ एट', 'जैकपॉट _ हिट', 'बोनस _ स्टेट'।

3. 3 भुगतान (नकद डेस्क/पीएसपी/क्रिप्टो)

'payment _ intent': 'intent _ id', 'player _ id', 'पद्धति', 'स्थिति', 'राशि', 'मुद्रा', 'psp', 'निर्मित _ at'।

'कैप्चर/रिफंड/चार्जबैक': 'intent _ id', 'psp _ ref', कारण कोड के संदर्भ के साथ अलग-अलग टेबल।

Крипто: 'txid', 'नेटवर्क', 'पुष्टि', 'फाइनल _ at'।

3. 4 बोनस/वेगर/जैकपॉट

'बोनस _ ग्रांट', 'बोनस _ प्रोग्रेस (दांव)', 'जैकपॉट _ कंट्रीब्यूशन', 'जैकपॉट _ पेआउट'।

3. 5 संदर्भ और माप

'डिम _ प्लेयर' (छद्म-आईडी, जियो, चैनल, आरजी स्टेटस - एनालिटिक्स में पीआईआई के बिना), 'डिम _ गेम', 'डिम _ प्रदाता', 'डिम _ ब्रांड', 'डिम _ क्षेत्र', कैलेंडर आयाम।

कुंजी और संगतता: सिल्वर/गोल्ड मॉडल में - स्थिर व्यवसाय कुंजी ('शर्त _ आईडी', 'राउंड _ आईडी', 'पेआउट _ आईडी', 'इंटेंट _ आईडी') और "आइडेम्पोटेंट" घटनाओं के शब्दार्थ।

4) स्ट्रीम डाउनलोड करें: स्ट्रीमिंग + माइक्रोबैच

स्ट्रीमिंग (काफ्का/पल्सर → कांस्य): ओएलटीपी और वेबहुक इवेंट्स, आउटबॉक्स/सीडीसी, कम से कम एक बार सिल्वर में डीडुप्लिकेशन के साथ गारंटी देते हैं।

सीडीसी (डेबेजियम/प्रतिकृति लॉग): ओएलटीपी टेबल (बटुआ/भुगतान) → कांस्य बदलना।

माइक्रोबैच: PSP/बैंक/कस्टम रिपोर्ट (SFTP/API) → कांस्य रॉ फाइलें → सामान्यीकरण।

सिल्वर में विलय: 'idempotency _ key/event _ id' द्वारा डीडअप, लेटेकोमर्स का उन्मूलन ('वॉटरमार्क'), SCD2 माप पर।

5) एसएलए डाउनलोड और लेट विंडो (वॉटरमार्क)

5. 1 विशिष्ट एसएलए (स्थल)

वॉलेट/लेजर इवेंट्स: कांस्य ≤ 1-2 मिनट, सिल्वर ≤ 5-10 मिनट, गोल्ड मार्ट ≤ 15 मिनट

दांव/बस्तियाँ: कांस्य ≤ 1-2 मिनट, रजत ≤ 10 मिनट, सोना ≤ 30 मिनट

भुगतान (PSP वेबहूक): कांस्य ≤ 5 मिनट, रजत ≤ 15 मिनट, गोल्ड ≤ 30-60 मिनट।

क्रिप्टो अंतिम: नेटवर्क निर्भर; लैग एन पुष्टि के साथ मामले प्रदर्शित करें।

दैनिक PSP/बैंक रिपोर्ट: T + 1 क्षेत्र के स्थानीय समय 09:00 बजे तक।

5. 2 देर से खिड़कियां

घटना समय ('hease _ at') + सहिष्णुता द्वारा वाटरमार्क:

बटुआ/दांव: 24-48 घंटे, भुगतान/पीएसपी: 72 घंटे (रेट्रो वेबहुक हैं), क्रिप्टो: दुर्लभ पुनर्भुगतानों के लिए 24 घंटे तक।
पुनर्प्रसंस्करण की बाद की घटनाएं: गोल्ड विंडो का पुनर्गणना वृद्धिशील रूप से (MERGE), सुधार लॉग।

5. 3 एसएलए संचार

डेटा कैटलॉग में SLA विशेषताएं शामिल हैं: 'फ्रेशनेस _ लक्ष्य', 'फ्रेशनेस _ स्टेटस', 'अपेक्षित _ lag _ p95', 'वॉटरमार्क'।

उल्लंघन में अलर्ट के साथ "ताजगी" के डैशबोर्ड।

6) डेटा गुणवत्ता (डीक्यू) और अनुबंध

प्रत्येक विषय के लिए डेटा अनुबंध: एवरो/जेएसओ योजनाएं, सेवर, आवश्यक क्षेत्र, व्यावसायिक आक्रमणकारी (उदाहरण के लिए, 'विन _ माइनर ≥ 0', 'मुद्रा ∈ आईएसओ -4217')।

सिल्वर डीक्यू चेक: प्रमुख विशिष्टता, संदर्भ अखंडता, बैलेंस चेक (वॉलेट सामंजस्य), पीएसपी कोड/कारणों की वैधता, तिथि रेंज।

गंभीरता: 'त्रुटि' (अवरोधक), 'WARN' (चिह्नित), 'INFO'।

निगरानी: % उल्लंघन, शीर्ष कारण, स्वचालित टिकट।

नमूना और रिप्ले: रीसाइक्लिंग के लिए कच्चा कांस्य स्टोर करें।

7) पीआईआई, रेजीडेंसी और सुरक्षा

पीआईआई-शोकेस को एनालिटिक्स से अलग किया गया है: सिल्वर/गोल्ड में - छद्म नाम, मास्किंग/हैश, टोकन।

डेटा रेजिडेंसी: यूरोपीय संघ/यूके/बीआर, आदि - शारीरिक रूप से अलग बाल्टी/कैटलॉग; सहमति और प्रॉक्सी के बिना कोई क्रॉस-रीडिंग नहीं।

Доступ: RBAC/ABAC (झील/DWH), पंक्ति-स्तरीय सुरक्षा по 'किरायेदार/ब्रांड/क्षेत्र'।

एन्क्रिप्शन: एट-रेस्ट (केएमएस) और इन-ट्रांजिट, प्रति क्षेत्र/ब्रांड कुंजी, पहुंच और नीतिगत परिवर्तनों का WORM ऑडिट।

भुलाए जाने का अधिकार: वित्तीय रिकॉर्ड (डी-पहचान) को हटाए बिना गेम डेटा को स्थानीय बनाने के लिए एक तंत्र।

8) गोल्ड विंडो मॉडलिंग (स्टार)

8. 1 वास्तविक तालिका

'fact _ bets', 'fact _ wallet _ entries', 'fact _ paments', 'fact _ bonus _ wager', 'fact _ jackpot'।

8. 2 माप

'डिम _ डेट/टाइम', 'डिम _ प्लेयर' (छद्म नाम), 'डिम _ गेम', 'डिम _ प्रदाता', 'डिम _ प्रदाता', 'डिम _ ब्रांड', 'डिम _ रीजन', 'डिम _ प्लेयर'।

8. 3 मेट्रिक्स और गणना

जीजीआर/एनजीआर, होल्ड/फ्रीक्वेंसी, आरटीपी (गेम/प्रदाता/क्षेत्र द्वारा), जमा रूपांतरण, निपटान लैग, सफलता-दर पीएसपी, लागत-प्रति-सफलता, एफएक्स-पीएनएल, जैकपॉट योगदान/भुगतान।

9) प्रदर्शन और लागत

विभाजन: 'hected _ date' + 'rexit/tenant' द्वारा, कभी-कभी 'game _ id' for गोल्ड एग्रीगेट्स।

क्लस्टरिंग/जेड-ऑर्डर: 'player _ id', 'game _ id', 'psp', 'मुद्रा' द्वारा।

संपीड़न और वैक्यूम: नियोजित 'ऑप्टिमाइज ़/कॉम्पैक्ट', "हैंगिंग" संस्करणों को हटाना (कानूनी प्रतिधारणों को ध्यान में रखते हुए)।

कैश: परिणाम-कैश/गोदाम कैश, गर्म पैनलों के लिए भौतिक दृश्य।

DWH में सूचकांक: क्लस्टर/खंड (स्नोफ्लेक क्लस्टरिंग कुंजियाँ, BigQuery विभाजन + क्लस्टर)।

लागत: वस्तु भंडारण में ठंडा कांस्य, DWH में गर्म गोल्ड/मार्च इकाइयाँ; ऑटो-पार्किंग/ऑटो-स्केल।

10) वंश, कैटलॉग और प्रलेखन

डेटा कैटलॉग (OpenMetadata/Amundsen/Collibra): तालिका विवरण, मालिक, SLA, PII क्षेत्र, पहुंच नीतियां।

वंश: स्रोत (घटना/सीडीसी) से शोकेस और रिपोर्ट करने के लिए; सुरक्षित परिवर्तनों के लिए बाधाओं की दृश्यता।

Changelog योजनाएँ: semver और deprecates की पत्रिका; सीआई पाइपलाइनों में संगतता परीक्षण।

11) सुलह

दैनिक:

'wallet _ entry' ↔ कुल शेष (संचय ≡ स्नैपशॉट), भुगतान: PSP/बैंक रिपोर्ट ↔ 'तथ्य _ भुगतान', क्रिप्टो: 'txid/network' ↔ 'तथ्य _ भुगतान'।
Категории: 'मैच', 'टाइमिंग', 'मिसिंग _ सोर्स', 'मिसिंग _ प्लेटफॉर्म', 'राशि _ मिसमैच'।
अलर्ट: 'बेमेल'> सीमा का अनुपात; उम्र बढ़ ने बकाया> एन दिन।

12) उदाहरण SLA तालिकाएँ (उदाहरण)

डोमेन	कांस्य (सबसे निगलना)	चांदी (सफाई)	गोल्ड (मार्च)	देर से होने वाली घटनाएं (वॉटरमार्क
बटुआ	≤2 मिनट	≤10 मिनट	≤15 मिनट	48 एच
दांव/बस्तियाँ	≤2 मिनट	≤10 मिनट	≤30 मिनट	48 एच
भुगतान (पीएसपी)	≤5 मिनट	≤15 मिनट	≤60 मिनट	72 एच
क्रिप्टो	realtime→finalnost	≤15 मिनट	≤60 मिनट	24 एच
रिपोर्ट (T + 1)	06:00–08:00	≤09:00	≤10:00	7 d

13) पाइपलाइन: हम क्या इकट्ठा करते हैं

अंतर्ग्रहण: काफ्का कनेक्ट/डेबेजियम, क्लाउड अंतर्ग्रहण सेवाएं, एसएफटीपी पुलर।

ईटीएल/ईएलटी: ऑर्केस्ट्रेशन के लिए स्पार्क/डीबीटी/ट्रिनो/बीम/फ्लिंक (स्ट्रीमिंग सिल्वर), एयरफ्लो/आर्गो।

गुणवत्ता: महान उम्मीदें/Deq/dbt परीक्षण।

निगरानी: OpenTelemetry + Lake/DWH metrics (ताजगी देरी, नौकरी विलंबता, लागत)।

दुर्घटनाएं और पुनरावृत्ति: कांस्य से पुनर्संरचना, चाबियों के साथ डीडअप, वर्शन पाइपलाइनों।

14) चेकलिस्ट

वास्तुकला और सुरक्षा

लेकहाउस प्रारूप (डेल्टा/आइसबर्ग/हुडी) ACID और समय यात्रा के साथ।
मुख्य स्रोतों के रूप में 'कांस्य/रजत/सोना', आउटबॉक्स/सीडीसी को विभाजित करें।
पीआईआई अलगाव, टोकन, आरएलएस 'किरायेदार/ब्रांड/क्षेत्र' द्वारा।
बाल्टी/निर्देशिका-स्तरीय निवास, कुंजी/रहस्य प्रति क्षेत्र।
स्कीमा/नीति/पहुंच नियम परिवर्तन का WORM ऑडिट।

गुणवत्ता और एसएलए

डेटा अनुबंध और सेवर योजनाएं; संगतता परीक्षण।
वॉटरमार्क और रिप्रोसेस, वृद्धिशील MERGE शोकेस।
ताजगी डैशबोर्ड और एसएलए अलर्ट; प्रत्येक तालिका के लिए
बटुए/भुगतान/क्रिप्टो द्वारा सुलह।

निष्पादन और लागत

विभाजन और clustering; "छोटी फ़ाइल" संघनन।
प्रमुख रिपोर्टों के लिए भौतिक शोकेस।
ऑटोस्केल/ऑटो-पार्किंग, प्रतिधारण नीति और अभिलेखागार।

15) लाल झंडे (विरोधी पैटर्न)

बीआई और नियामक रिपोर्ट ने ओएलटीपी को सीधे मारा।

कांस्य "फिर से लिखता है" और कच्चे डेटा को खो देता है।
कोई वॉटरमार्क नहीं, देर से होने वाली घटनाएं "काट दी जाती हैं।"
'idempotency _ key '/' event _ id' → गोल्ड में डुप्लिकेट्स पर कोई डीडुप्लिकेशन नहीं।
पीआईआई और विभिन्न क्षेत्रों से पैसा आरएलएस और रेजीडेंसी के बिना एक साथ रखा जाता है।
योजनाएं "चुपचाप" (सेवर/अनुबंध के बिना) बदलती हैं, दुकान की खिड़कियों को तोड़ ती हैं।
लाखों छोटे असंपीड़ित Parquet फ़ाइलें - महंगे अनुरोध।
कोई एसएलए/ताजगी डैशबोर्ड नहीं; त्रैमासिक रिपोर्टिंग में "आश्चर्य"।

16) निष्कर्ष

आईगेमिंग में डेटा लेक + डीडब्ल्यूएच केवल एक भंडारण नहीं है, बल्कि एक नियंत्रित पारिस्थितिकी तंत्र है: मानकीकृत योजनाएं और अनुबंध, एसीआईडी-लेकहाउस, स्पष्ट एसएलए ताजगी और देर से खिड़कियां, गुणवत्ता और रैखिकता, पीआई सुरक्ता और निवास। सुलह और विभाजन/संघनन बचत जोड़ें - और आपके पास रात के पलायन और मैनुअल एक्सेल के बिना रिपोर्टिंग, उत्पाद समाधान और व्यवसाय स्केलिंग के लिए एक आधार है।