Data Lake va DWH casino uchun: sxemalar, SLA yuklab olish

Maqolaning to’liq matni

💡 18+. Platformalar/operatorlar, studiyalar va tahliliy jamoalar uchun texnik material. O’yinga chaqirish emas. Platforma deganda PAM/hamyon/kassa/bonuslar/RG, provayderlar deganda RGS/live/jekpotlar/to’lov integratsiyalari tushuniladi.

1) Nima uchun Data Lake va DWH kazinolari

Hisobot va komplayens: tartibga soluvchi yuklamalar (GGR/NGR, KYC/AML, RG), pul auditi.

Mahsulot/marketing: LTV/retention, segmentatsiya, A/B, tavsiyalar.

Operatsiyalar: provayderlar, PSP, SLA live-o’yinlar va kassalar monitoringi.

Maʼlumotlar boʻyicha yechimlar: arzon uzoq muddatli saqlash (Lake) ustidagi tezkor vitrinalar (DWH).

Xulosa: Lake xom va tozalangan qatlamlarni saqlaydi, DWH tezkor so’rovlar va boshqariladigan modellarni beradi.

2) Referens-arxitektura (lakehouse)


Sources (OLTP, Kafka, Webhooks, CDC)
│
├─Bronze (raw, append-only; Parquet/Delta/Iceberg)
│   ingestion_time, source_metadata, no schema changes in place
├─Silver (cleaned, conformed; dedup, PII masking, SCD2)
│   business keys, constraints, quality checks
└─Gold (marts; star/snowflake; cube tables, aggregates)
└─DWH/Query Engines (Snowflake/BigQuery/Trino/Spark SQL)

Форматы: Delta Lake / Apache Iceberg / Hudi (ACID в lake, time travel, MERGE).

Fayllar: Parquet + ZSTD/Snappy, target ~ 128-512 MB; «mayda fayllar» kompaksiyasi.

Katalog: Hive/Unity/Iceberg Catalog; per region/tenant baketalaridagi’bronze/silver/gold’zonalari.

3) Domen sxemalari (konseptual jihatdan)

3. 1 Hamyon/buxgalteriya

`wallet_entry`: `entry_id`, `account_id`, `direction (debit	credit)`, `amount_minor`, `currency`, `reason`, `reference_id`, `occurred_at`, `region`, `tenant_id`, `trace_id`, `idempotency_key`.
Invariant: hisobvaraq = balans (snapshot + change log orqali).

3. 2 Stavkalar/settlment (RGS/live)

`bet`: `bet_id`, `round_id`, `player_id`, `game_id`, `stake_minor`, `currency`, `placed_at`, `brand/region`, `provider_id`, `in_bonus`.

`settlement`: `settlement_id`, `bet_id`, `round_id`, `win_minor`, `settled_at`, `jackpot_hit`, `bonus_state`.

3. 3 To’lovlar (kassa/PSP/kripto)

`payment_intent`: `intent_id`, `player_id`, `method`, `status`, `amount`, `currency`, `psp`, `created_at`.

’capture/refund/chargeback’:’intent _ id’,’psp _ ref’, sabablar kodi bilan alohida jadvallar.

Крипто: `txid`, `network`, `confirmations`, `finalized_at`.

3. 4 Bonuslar/veyjer/jekpotlar

`bonus_grant`, `bonus_progress (wager)`, `jackpot_contribution`, `jackpot_payout`.

3. 5 Ma’lumotnomalar va o’lchovlar

’dim _ player’ (psevdo-ID, geo, kanallar, RG maqomlari - tahlilda PIIsiz),’dim _ game’,’dim _ provider’,’dim _ psp’,’dim _ brand’,’dim _ region’, kalendar o’lchovlari.

Kalitlar va muvofiqlik: Silver/Gold modellarida - barqaror biznes kalitlari (’bet _ id’,’round _ id’,’payout _ id’,’intent _ id’) va «idempotent» voqealar semantikasi.

4) Yuklash oqimlari: striming + mikrobatchi

Striming (Kafka/Pulsar → Bronze): OLTP va vebxuk voqealari, outbox/CDC, «kamida bir marta» kafolatlari Silver da duplikatsiya qilinadi.

CDC (Debezium/log replikatsiyasi): OLTP jadvallarining oʻzgarishi (wallet/payments) → Bronze.

Mikrobatchi: PSP/bank/kastodi (SFTP/API) → Bronze Raw Files → normallashuv hisobotlari.

MERGE in Silver: dedup po’idempotency _ key/event _ id’, kech bo’lganlarni yo’q qilish (’watermark’), o’lchovlarda SCD2.

5) SLA yuklash va kechikish oynasi (watermarks)

5. 1 Namunaviy SLA (mo’ljallar)

Wallet/ledger events: Bronze ≤ 1-2 daqiqa, Silver ≤ 5-10 daqiqa, Gold marts ≤ 15 daqiqa.

Bets/settlements: Bronze ≤ 1-2 min., Silver ≤ 10 min., Gold ≤ 30 min.

Payments (PSP webhooks): Bronze ≤ 5 min, Silver ≤ 15 min, Gold ≤ 30-60 min.

Kripto yakuniy: tarmoqqa bog’liq; lag N tasdig’i bilan vitrinalar.

PSP/banklarning kundalik hisobotlari: T + 1 mintaqaning mahalliy vaqti bilan 09:00 gacha.

5. 2 Kechikish oynalari

Hodisa vaqti boʻyicha Watermark (’occurred _ at’) + chegaralar:

hamyon/stavkalar: 24-48 soat, to’lovlar/PSP: 72 soat (retro-vebxuklar mavjud), kripto: 24 soatgacha noyob reorglar uchun.
Kech voqealar reprocess: Gold inkremental (MERGE) oynalarini qayta hisoblash, tuzatishlar jurnali.

5. 3 SLA kommunikatsiyasi

Maʼlumotlar katalogi quyidagi SLA atributlarini oʻz ichiga oladi:’freshness _ target’,’freshness _ status’,’expected _ lag _ p95’,’watermark’.

Buzilganda alertlar bilan «yangilik» dashbordlari.

6) Ma’lumotlar sifati (DQ) va kontraktlar

Har bir mavzu uchun Data Contracts: Euro/JSON sxemalari, semver, majburiy maydonlar, biznes invariantlar (masalan,’win _ minor ≥ 0’,’currency ∈ ISO-4217’).

Silver DQ tekshiruvlari: kalitlarning o’ziga xosligi, referensial yaxlitligi, balans tekshiruvi (hamyonni solishtirish), PSP kodlarining/sabablarining haqiqiyligi, sana diapazonlari.

Severity:’ERROR’,’WARN’,’INFO’.

Monitoring:% buzilishlar, top sabablar, avtomatlashtirilgan chiptalar.

Sampling & replay: Xom bronzani qayta ishlash uchun saqlash.

7) PII, rezidentlik va xavfsizlik

PII-vitrin tahlildan ajratilgan: Silver/Gold - taxallus, niqob/xesh, tokenizatsiya.

Data residency: EU/UK/BR va boshqalar - fizik jihatdan alohida baketalar/kataloglar; roziligisiz va proksisiz kross-mintaqaviy o’qish yo’q.

Доступ: RBAC/ABAC (Lake/DWH), row-level security по `tenant/brand/region`.

Shifrlash: at-rest (KMS) va in-transit, per region/brand kalitlari, WORM kirish va siyosatni o’zgartirish auditi.

Unutish huquqi: moliyaviy yozuvlarni olib tashlamasdan o’yin ma’lumotlarini mahalliylashtirish mexanizmi (de-identifikatsiya).

8) Vitrinalarni modellashtirish Gold (yulduz)

8. 1 Fakt-jadvallar

’fact _ bets’ (satr uchun stavka va settlment/yoki ikkita jadval),’fact _ wallet _ entries’,’fact _ payments’(depozitlar/keshautlar/qaytarmalar),’fact _ bonus _ wager’,’fact _ jackpot’.

8. 2 O’lchovlar

`dim_date/time`, `dim_player` (pseudonymous), `dim_game`, `dim_provider`, `dim_psp`, `dim_brand`, `dim_region`, `dim_currency`.

8. 3 Metrika va hisob-kitoblar

GGR/NGR, ushlab qolish/chastota, RTP (o’yin/provayder/mintaqa bo’yicha), depozit konvertatsiyasi, settle lag, success-rate PSP, cost-per-success, FX-PnL, jackpot contributions/payouts.

9) Unumdorlik va qiymat

Partiyalashtirish:’occurred _ date’+’region/tenant’, ba’zan’game _ id’Gold-agregatlar uchun.

Klaster/Z-Order:’player _ id’,’game _ id’,’psp’,’currency’.

Kompaksiya va vakuum: rejalashtirilgan’OPTIMIZE/COMPACT’, «osilgan» versiyalarni olib tashlash (huquqiy retenshenlarni hisobga olgan holda).

Kesh: result-cache/warehouse cache, materialized views uchun issiq panellar.

DWHdagi indekslar: klaster/segment (Snowflake clustering keys, BigQuery partition + cluster).

Qiymati: ob’ekt omborida sovuq Bronze, DWH da issiq Gold/mart-agregatlar; avto-parking/avto-skayl.

10) Linedj, kataloglar va hujjatlar

Data Catalog (OpenMetadata/Amundsen/Collibra): jadvallar tavsifi, egasi, SLA, PII maydonlari, kirish siyosati.

Linedj: manbadan (hodisa/CDC) to vitrin va hisobotgacha; xavfsiz o’zgarishlar uchun qaramliklarning ko’rinishi.

Changelog sxemalari: semver va deprekeytlar jurnali; CI payplaynlarda moslik testlari.

11) Reconciliation (ma’lumotlarni solishtirish)

Har kuni:

«wallet _ entry» yakuniy balanslar (to’plash snapshot), to’lovlar: PSP/banklar hisobotlari’fact _ payments’, kripto:’txid/network’ ’fact _ payments’.
Категории: `match`, `timing`, `missing_source`, `missing_platform`, `amount_mismatch`.
Alertlar: chegara’mismatch’> ulushi; aging ishonchsiz> N kun.

12) Namunaviy SLA-jadvallar (misol)

Domen	Bronze (ingest)	Silver (tozalash)	Gold (mart)	Kech hodisalar (watermark)
Wallet	≤ 2 min	≤ 10 min	≤ 15 min	48 soat
Bets/Settlements	≤ 2 min	≤ 10 min	≤ 30 min	48 soat
Payments (PSP)	≤ 5 min	≤ 15 min	≤ 60 min	72 soat
Crypto	realtime → yakuniy	≤ 15 min	≤ 60 min	24 soat
Reports (T+1)	06:00–08:00	≤09:00	≤10:00	7 d

13) Payplaynlar: nimadan yig’ayapmiz

Ingestion: Kafka Connect/Debezium, bulutli ingestion-services, SFTP pullers.

ETL/ELT: Spark/DBT/Trino/Beam/Flink (striming Silver), Airflow/Argo orkestrlash uchun.

Sifati: Great Expectations/Deequ/dbt tests.

Monitoring: OpenTelemetry + Lake/DWH metrikalari (freshness delay, job latency, cost).

Avariyalar va takrorlash: Bronze reprocess, dedup kalitlari, version payplaynlar.

14) Chek-varaqlar

Arxitektura va xavfsizlik

ACID va time travel bilan Lakehouse formati (Delta/Iceberg/Hudi).
Asosiy manbalar sifatida’bronze/silver/gold’, outbox/CDC.
PII-izolyatsiya, tokenizatsiya, RLS po’tenant/brand/region’.
Bakalet/katalog darajasidagi rezidentlik, per region kalitlari/sirlari.
Kirish sxemalari/siyosati/qoidalarini o’zgartirishning WORM auditi.

Sifat va SLA

Data Contracts va semver-sxemalar; muvofiqlik testlari.
Watermarks va reprocess, vitrinalar inkremental MERGE.
Tazelik dashbordlari va SLA-alertlar; har bir jadvalda owner.
Reconciliation hamyon/to’lovlar/kripto.

Unumdorlik va qiymat

Partiyalashtirish va klasterlashtirish; «mayda fayllar» kompaksiyasi.
Asosiy hisobotlar uchun materiallashtirilgan vitrinalar.
Avtoskeyl/avtoparking, retenshen va arxiv siyosati.

15) Qizil bayroqlar (anti-patternlar)

BI va regulyator hisobotlari OLTPga to’g’ridan-to’g’ri zarba beradi.

Bronze xom ma’lumotlarni yo’qotadi.

Watermarks yoʻq, kech hodisalar «kesiladi».

Gold’idempotency _ key ’/’ event _ id’→ dublikati mavjud emas.

PII va turli mintaqalarning pullari RLS va rezidentliksiz birga saqlanadi.

Sxemalar «jim» (semver/kontraktlarsiz), buzilgan vitrinalar o’zgaradi.

Kompaksiyasiz millionlab kichik Parquet fayllari → qimmat so’rovlar.

SLA/dashbordlar yo’q; choraklik hisobotdagi «kutilmagan hodisalar».

16) Xulosa

Data Lake + DWH iGaming - bu shunchaki ombor emas, balki nazorat qilinadigan ekotizim: standartlashtirilgan sxemalar va shartnomalar, ACID-lakehouse, aniq SLA yangilik va kechikish oynalari, sifat va linedj, PII xavfsizligi va rezidentlik. Reconciliation va partiyalashtirish/kompaksiyalarni tejashni qo’shing - va siz hisobot berish, oziq-ovqat yechimlari va tungi migratsiyasiz va «qo’lda Excel» biznesni ko’paytirish uchun poydevorga ega bo’lasiz.