Маълумотҳои Лейк ва DWH барои казиноҳо: схемаҳо, зеркашиҳои SLA

Мақолаи пурра

💡 18+. Маводи техникӣ барои платформаҳо/операторҳо, студияҳо ва гурӯҳҳои таҳлилӣ. На даъват ба бозӣ. Бо платформа мо маънои PAM/ҳамён/кассир/бонус/RG -ро аз ҷониби провайдерҳо - RGS/live/jackpots/интегратсияи пардохт дар назар дорем.

1) Чаро Маълумот Лейк Казино ва DWH

Ҳисоботдиҳӣ ва мутобиқат: боркуниҳои танзимкунанда (GGR/NGR, KYC/AML, RG), аудити пулӣ.

Маҳсулот/маркетинг: LTV/нигоҳдорӣ, сегментатсия, A/B, тавсияҳо.

Амалиётҳо: мониторинги провайдерҳо, PSP, SLA бозиҳои зинда ва мошинҳои назоратӣ.

Қарорҳои маълумот: дӯконҳои зуд (DWH) дар болои анбори арзони дарозмуддат (кӯл).

Сатри поён: Лейк қабатҳои хом ва тозашударо нигоҳ медорад, DWH дархостҳои зуд ва моделҳои идорашавандаро медиҳад.

2) Меъмории истинод (кӯл)


Манбаъҳо (OLTP, Kafka, Webhooks, CDC)
│
├─Bronze (хом, танҳо замима; Паркет/Делта/Айсберг)
│ ingestion_time, source_metadata, ягон схема тағир намеёбад
├─Silver (тоза, мувофиқ; dedup, ниқоби PII, SCD2)
│ калидҳои корӣ, маҳдудиятҳо, санҷиши сифат
└─Gold (мартҳо; ситораи/барфпӯше; ҷадвалҳои кубӣ, агрегатҳо)
└─DWH/Query муҳаррикҳо (Барфпӯши барфӣ/Биг Query/Trino/Spark SQL)

Форматы: Кӯли Делта/Апачи Айсберг/Ҳуди (кӯли ACID v, сафари вақт, MERGE).

Файлҳо: Parquet + ZSTD/Snappy, ҳадаф ~ 128-512 MB; фишурдани "файли хурд".

Каталог: Каталоги Hive/Unity/Iceberg; сатилҳои биринҷӣ/нуқра/тиллои минтақаҳо дар як минтақа/иҷорагир.

3) Схемаҳои домейн (консептуалӣ)

3. 1 Ҳамён/баҳисобгирӣ

'wallet _ entry': 'entry _ id', 'account _ id', 'самт (дебет)	қарз) ',' маблағи _ minor ',' асъор ',' сабаб ',' reference _ id ',' happened _ at ',' минтақа ',' иҷорагир _ ид ',' trace _ id ',' idempotency _ key '.
Ғайривариант: миқдори ҳисоб = тавозун (тавассути сурат + сабти тағирот).

3. 2 Гарав/Ҳисоббаробаркунӣ (RGS/зинда)

'bet': 'bet _ id', 'round _ id', 'player _ id', 'game _ id', 'stake _ minor', 'wash', 'placed _ at', 'brand/минтақа', 'provider _ id', 'in _ bonus'.

'settlement': 'solution _ id', 'bet _ id', 'round _ id', 'win _ minor', 'soled _ at', 'jackpot _ hit', 'bonus _ state'.

3. 3 Пардохт (мизи нақд/PSP/крипто)

'payment _ intent': 'intent _ id', 'player _ id', 'усул', 'мақом', 'маблағ', 'асъор', 'psp', 'created _ at'.

'capture/баргардонидан/баргардонидан': ҷадвалҳои алоҳида бо истинод ба 'intent _ id', 'psp _ ref', рамзҳои сабабҳо.

Крипто: 'txid', 'шабака', 'тасдиқ', 'ниҳоӣ _ at'.

3. 4 Бонус/вагер/jackpots

'bonus _ grant', 'bonus _ progress (wager)', 'jackpot _ саҳм', 'jackpot _ payout'.

3. 5 Истинодҳо ва андозагирӣ

'dim _ player' (псевдо-ID, гео, каналҳо, ҳолати RG - бидуни PII дар таҳлил), 'dim _ game', 'dim _ provider', 'dim _ psp', 'dim _ brand', 'dim _ region', андозаҳои тақвимӣ.

Калидҳо ва мутобиқат: дар моделҳои нуқра/тиллоӣ - калидҳои тиҷорати устувор ('bet _ id', 'round _ id', 'payout _ id', 'intent _ id') ва семантикаи рӯйдодҳои "idempotent".

4) Зеркашии ҷараёнҳо: ҷараён + Microbatch

Сюзан (Кафка/Пулсар → Биринҷӣ): Чорабиниҳои OLTP ва webhook, outbox/CDC, ҳадди аққал як маротиба бо такрори нуқра кафолат медиҳанд.

CDC (Debezium/replication log): тағир додани ҷадвалҳои OLTP (ҳамён/пардохт) → биринҷӣ.

Микробатҳо: Ҳисоботҳои PSP/бонк/фармоишӣ (SFTP/API) → Файлҳои хоми биринҷӣ → нормализатсия.

MERGE дар нуқра: тарҳ аз ҷониби 'idempotency _ key/event _ id', бартараф кардани latecomers ('нишонаи обӣ'), SCD2 оид ба андозагирӣ.

5) Зеркашии SLA ва тирезаи дер (нишонаҳои обӣ)

5. 1 SLA-ҳои маъмулӣ (нишонаҳо)

Ҳодисаҳои ҳамён/дафтар: биринҷӣ ≤ 1-2 дақиқа, нуқра ≤ 5-10 дақиқа, марраҳои тиллоӣ ≤ 15 дақиқа

Гарав/нуқтаҳои аҳолинишин: биринҷӣ ≤ 1-2 дақиқа, нуқра ≤ 10 дақиқа, тилло ≤ 30 дақиқа

Пардохтҳо (webhooks PSP): биринҷӣ ≤ 5 дақиқа, нуқра ≤ 15 дақиқа, тилло ≤ 30-60 дақиқа.

Ниҳоии крипто: вобаста ба шабака; намоиш додани парвандаҳо бо тасдиқи ақибмонӣ N.

Ҳисоботи ҳаррӯзаи PSP/бонк: T + 1 то соати 09:00 вақти маҳаллии минтақа.

5. 2 Тирезаҳои дер

Аломати обӣ аз рӯи вақти ҳодиса ('рух дод _ at') + таҳаммулпазирӣ:

ҳамён/гарав: 24-48 соат, пардохтҳо/PSP: 72 соат (вебҳукҳои ретро мавҷуданд), крипто: то 24 соат барои азнавсозии нодир.
Баъдтар ҳодисаҳои коркард: ҳисобкунии тирезаҳои тиллоӣ тадриҷан (MERGE), сабти ислоҳот.

5. 3 SLA иртибот

Каталоги маълумот дорои хусусиятҳои SLA мебошад: 'тару тоза _ ҳадаф', 'тару тоза _ статус', 'интизоршаванда _ lag _ p95', 'нишонаи обӣ'.

Панелҳои "тару тоза" бо огоҳиҳо дар вайронкунӣ.

6) Сифати маълумот (DQ) ва шартномаҳо

Шартномаҳои маълумот барои ҳар як мавзӯъ: схемаҳои Avro/JSON, семвер, майдонҳои зарурӣ, инвариантҳои тиҷорат (масалан, 'win _ minor ≥ 0', 'асъор ∈ ISO-4217').

Санҷишҳои нуқраи DQ: беҳамтоии калидӣ, тамомияти истинод, санҷиши тавозун (ҳамоҳангсозии ҳамён), дурустии рамзҳои PSP/сабабҳо, диапазонҳои сана.

Вазнинӣ: 'Хато' (басташавӣ), 'WARN' (аломатгузорӣ), 'INFO'.

Мониторинг:% вайронкуниҳо, сабабҳои асосӣ, чиптаҳои автоматӣ.

Интихоб ва такрорӣ: Биринҷии хомро барои коркарди дубора нигоҳ доред.

7) PII, истиқомат ва бехатарӣ

PII-showcase аз таҳлил ҷудо карда шудааст: дар нуқра/тилло - тахаллус, ниқоб/ҳаш, токенизатсия.

Резидентураи маълумот: EU/UK/BR ва ғайра - сатилҳо/каталогҳои аз ҷиҳати ҷисмонӣ алоҳида; бе розигӣ ва шахсони боэътимоди хониши байниминтақавӣ.

Досту: RBAC/ABAC (Лейк/DWH), сатҳи бехатарии сатр 'иҷорагир/бренд/минтақа'.

Рамзгузорӣ: ҳангоми истироҳат (KMS) ва транзит дар як минтақа/тугмаҳои бренд, аудити WORM оид ба дастрасӣ ва тағирот дар сиёсат.

Ҳуқуқ фаромӯш карда мешавад: механизми маҳаллисозии маълумоти бозӣ бидуни нест кардани сабтҳои молиявӣ (муайянсозӣ).

8) Моделсозии равзанаи тиллоӣ (ситора)

8. 1 Ҷадвалҳои воқеӣ

'fact _ bets', 'fact _ wallet _ entries', 'fact _ payments', 'fact _ bonus _ wager', 'fact _ jackpot'.

8. 2 андозагирӣ

'dim _ date/time', 'dim _ player' (тахаллус), 'dim _ game', 'dim _ provider', 'dim _ psp', 'dim _ brand', 'dim _ region', 'dim _ currency'.

8. 3 Нишондиҳандаҳо ва ҳисобҳо

GGR/NGR, нигоҳ доштан/басомад, RTP (аз рӯи бозӣ/провайдер/минтақа), табдили пасандозҳо, ақибмонӣ, PSP-и муваффақият, хароҷот барои як муваффақият, FX-PL, саҳмҳои jackpot/пардохтҳо.

9) Иҷро ва арзиши

Тақсимот: аз рӯи 'рух дод _ сана' + 'минтақа/иҷорагир', баъзан 'агрегатҳои game _ id' for Gold.

Кластерӣ/Z-Фармоиш: аз ҷониби 'player _ id', 'game _ id', 'psp', 'асъор'.

Компресс ва вакуум: нақшаи 'OPTIMIZE/COMPACT', нест кардани версияҳои "овезон" (бо назардошти нигоҳдории ҳуқуқӣ).

Кэшҳо: кэши натиҷа-кэш/анбор, назари панелҳои гарм.

Индексҳо дар DWH: кластер/сегмент (Калидҳои кластерии барфпӯше, қисмати калон + кластер).

Арзиш: биринҷии хунук дар анбори ашё, агрегатҳои тиллоӣ/март дар DWH; худкори таваққуф/миқёси худкор.

10) Linage, каталогҳо ва ҳуҷҷатгузорӣ

Каталоги маълумот (OpEN Metadata/Amundsen/Collibra): тавсифи ҷадвал, соҳиб, SLA, майдонҳои PII, сиёсати дастрасӣ.

Насаб: аз манбаъ (ҳодиса/CDC) то намоиш ва гузориш; намоёни маҳдудиятҳо барои тағироти бехатар.

Схемаҳои Changelog: семвер ва маҷаллаи амортизаторҳо; санҷишҳои мутобиқат дар қубурҳои CI.

11) Оштӣ

Ҳаррӯза:

'wallet _ entry' ↔ бақияи умумӣ (ҷамъоварӣ ≡ сурат), пардохтҳо: Ҳисоботҳои PSP/бонк ↔ 'fact _ payments', crypto: 'txid/network' ↔ 'fact _ payments'.
Категори: 'мувофиқат', 'вақт', 'missing _ source', 'missing _ platform', 'sument _ match'.
Огоҳиҳо: таносуби 'номувофиқатӣ'> ҳадди ниҳоӣ; пиршавӣ барҷаста> N рӯз.

12) Ҷадвалҳои SLA (мисол)

Домен	Биринҷӣ (inest)	Нуқра (тозакунӣ)	Тилло (март)	Ҳодисаҳои дер (нишонаи обӣ)
Ҳамён	≤ 2 дақ	≤ 10 дақ	≤ 15 дақ	48 соат
Бетҳо/нуқтаҳои аҳолинишин	≤ 2 дақ	≤ 10 дақ	≤ 30 дақ	48 соат
Пардохтҳо (PSP)	≤ 5 дақ	≤ 15 дақ	≤ 60 дақ	72 соат
Крипто	realtime → finalnost	≤ 15 дақ	≤ 60 дақ	24 соат
Ҳисоботҳо (T + 1)	06:00–08:00	≤09:00	≤10:00	7 д

13) Қубурҳо: он чизе ки мо аз он ҷамъ мекунем

Воридшавӣ: Kafka Connect/Debezium, хадамоти воридкунии абр, pullers SFTP.

ETL/ELT: Spark/DBT/Trino/Beam/Flink (ҷараёнҳои нуқра), Airflow/Argo барои оркестр.

Сифат: Интизориҳои бузург/Санҷишҳои Deq/dbt.

Мониторинг: Андозагирии Open: Telemetry + Lake/DWH (таъхири тару тоза, таъхири кор, арзиш).

Ҳодисаҳо ва такрорӣ: коркарди биринҷӣ, тарҳҳо бо калидҳо, қубурҳои санҷидашуда.

14) Рӯйхати санҷишҳо

Меъморӣ ва амният

Формати Lakehouse (Delta/Iceberg/Hudi) бо ACID ва сафари вақт.
Тақсим кардани 'биринҷӣ/нуқра/тилло', outbox/CDC ҳамчун манбаъҳои асосӣ.
Ҷудокунии PII, токенизатсия, RLS аз ҷониби 'иҷорагир/бренд/минтақа'.
Ҷои истиқомат дар сатил/феҳрист, калидҳо/асрори як минтақа.
Аудити WORM оид ба тағир додани қоидаҳои схема/сиёсат/дастрасӣ.

Сифат ва SLA

Шартномаҳои маълумот ва схемаҳои нимтайёр; санҷишҳои мутобиқат.
Нишонаҳо ва коркарди об, намоишҳои афзояндаи MERGE.
Панели тару тоза ва огоҳиҳои SLA; соҳиби ҳар як миз.
Оштӣ бо ҳамён/пардохт/крипто.

Иҷро ва арзиши

Тақсимот ва гурӯҳбандӣ; фишурдани "файли хурд".
Намоишҳои моддӣ барои гузоришҳои асосӣ.
Автоскале/Авто-таваққуф, сиёсати нигоҳдорӣ ва бойгонӣ.

15) Парчамҳои сурх (зидди намунаҳо)

BI ва гузоришҳои танзимкунанда мустақиман OLTP-ро пахш мекунанд.

Биринҷӣ "аз нав менависад" ва маълумоти хомро аз даст медиҳад.

Ягон нишонаи об, рӯйдодҳои дер "бурида" нестанд.

Ягон такрорӣ дар 'idempotency _ key '/' event _ id' → нусхабардорӣ дар тилло нест.

PII ва пул аз минтақаҳои гуногун бидуни RLS ва иқомат якҷоя нигоҳ дошта мешаванд.

Схемаҳо "оромона" (бидуни нимтана/шартнома) тағир ёфта, тирезаҳои мағозаро мешикананд.

Миллионҳо файлҳои хурди фишурдашудаи Parquet → дархостҳои гарон.

Не панелҳои SLA/тару тоза; "ногаҳонӣ" дар ҳисоботи семоҳа.

16) Хулоса

Маълумот Лейк + DWH дар IGaming на танҳо нигаҳдорӣ, балки экосистемаи назоратшаванда аст: схемаҳо ва шартномаҳои стандартӣ, ACID-lakehouse, тозагии SLA ва тирезаҳои дер, сифат ва хаттӣ, амният ва иқомат. Пасандозҳо ва тақсимот/фишурдасозиро илова кунед - ва шумо барои ҳисобот, ҳалли маҳсулот ва миқёси тиҷорат бидуни муҳоҷирати шабона ва дастури Excel замина доред.