Black Lake և MSH խաղատների համար 'սխեմաներ, SLA բեռնումներ

Հոդվածի ամբողջական տեքստը

💡 18+. Նշված նյութեր պլատֆորմների/օպերատորների, ստուդիաների և վերլուծական թիմերի համար։ Խաղի կոչը չէ։ Պլատֆորմի տակ մենք հասկանում ենք PAM/դրամապանակ/դրամարկղ/բոնուսներ/RG, պրովայդերների տակ 'RGS/2019/ջեքպոտներ/վճարովի։

1) Ինչու՞ կազինո No Lake և CPH H

Հաշվետվությունը և կոմպլանենսը 'կարգավորող արտանետումներ (GGR/NGR, KYC/AML, RG), փողի աուդիտ։

Ապրանքը/մարքեթինգը 'LTV/retention, հատվածը, A/B, առաջարկություններ։
Վիրահատություններ ՝ ռուսական պրովայդերներ, PSA, SLA 105 խաղեր և ձայներիզներ։
Տվյալների լուծումները 'արագ վիտրինները (PPH) էժան երկարաժամկետ պահեստավորման (Lake) վերևում։
Այսպիսով, Lake-ը պահպանում է հում և մաքրված շերտերը, CPH-ն արագ հարցումներ և վերահսկվող մոդելներ է տալիս։

2) Հանրաքվեական ճարտարապետությունը (lakehouse) (lakehouse)


Sources (OLTP, Kafka, Webhooks, CDC)
│
├─Bronze (raw, append-only; Parquet/Delta/Iceberg)
│   ingestion_time, source_metadata, no schema changes in place
├─Silver (cleaned, conformed; dedup, PII masking, SCD2)
│   business keys, constraints, quality checks
└─Gold (marts; star/snowflake; cube tables, aggregates)
└─DWH/Query Engines (Snowflake/BigQuery/Trino/Spark SQL)

Форматы: Delta Lake / Apache Iceberg / Hudi (ACID в lake, time travel, MERGE).

Ֆայլերը ՝ Parquet + ZSTD/Systappy, target 2407-512 MB; «փոքր ֆայլերի» բաղադրամասը։

Կատալոգ ՝ Hive/Unity/Iceberg Catalog; «bense/silver/gold» գոտիները per region/tenae տանկերի վրա։

3) Հիբրիդային սխեմաները (հայեցակարգային)

3. 1 Դրամապանակ/հաշվապահություն

`wallet_entry`: `entry_id`, `account_id`, `direction (debit	credit)`, `amount_minor`, `currency`, `reason`, `reference_id`, `occurred_at`, `region`, `tenant_id`, `trace_id`, `idempotency_key`.
Invariant: գումարը = հավասարակշռություն (www.apshot + change log)։

3. 2 դրույքաչափ/ցանցաթլմենտ (RGS/2019)

`bet`: `bet_id`, `round_id`, `player_id`, `game_id`, `stake_minor`, `currency`, `placed_at`, `brand/region`, `provider_id`, `in_bonus`.

`settlement`: `settlement_id`, `bet_id`, `round_id`, `win_minor`, `settled_at`, `jackpot_hit`, `bonus_state`.

3. 3 Վճարումներ (ձայներիզներ/PSA/ծպտյալ)

`payment_intent`: `intent_id`, `player_id`, `method`, `status`, `amount`, `currency`, `psp`, `created_at`.

«capture/refund/chargeback»: առանձին աղյուսակներ, որոնք հղում են «intent _ id», «pult _ ref», պատճառների կոդերով։

Крипто: `txid`, `network`, `confirmations`, `finalized_at`.

3. 4 Բոնուսներ/waiger/ջեքպոտներ

`bonus_grant`, `bonus_progress (wager)`, `jackpot_contribution`, `jackpot_payout`.

3. 5 Գրացուցակներ և չափումներ

«Dance _ player» (կեղծ-ID, geo, ալիքներ, RG արձաններ 'առանց PII վերլուծության), «dult _ game», «dice _ provider», «dect _ prom», «dult _ brand», «dult _ region», օրացույցային չափումներ։

Բանալիներ և համատեղելիություն. Silver/Gold մոդելներում կայուն բիզնես բանալիներ են («bet _ id», «round _ id», «payout _ id», «intent _ id») և «idempotent» իրադարձությունների սեմանտիկան։

4) Բեռնման հոսքեր 'սթրիմինգ + մանրէներ

Սթրիմինգը (Kafka/Pulsar no Bultze) 'OLTP և Webhuks, wwww.box/CDC, երաշխիքները «առնվազն մեկ անգամ» Silver-ում։

CDC (Debez.ru/log) - OLTP աղյուսակների (wallet/payments) փոփոխությունը Bultze։

Microbatchi: PBS/բանկերի/castodi (SFTP/API) - Bronze Rance Systemes-ի զեկույցները հաստատեցին նորմալիզացիան։
MERGE-ը Silver-ում '«idempotency _ key/event _ id», հանգուցյալ («watermark»), SCD2 չափումների վրա։

5) sLA բեռնումը և ուշացման պատուհանը (watermarks)

5. 1 Տիպիկ SLA (ուղեցույցներ)

Wallet/ledger events: Bultze 241-2 րոպե, Silver 245-10 րոպե, Gold marts 2415

Bets/settlements: Bultze 351-2 րոպե, Silver 3510 րոպե, Gold 3530 ռուբլիներ

Payments (PMS webhooks): Bronze 355 րոպե, Silver 3515 րոպե, Gold 3530-60 ռուբլիներ

Ծպտյալ վերջնական ՝ կախված է ցանցից։ վիտրինները lag N ապացույցներից։

PBS/բանկերի ամենօրյա զեկույցները ՝ T + 1-ը մինչև տարածաշրջանի ժամկաան 9: 00-ը։

5. 2 Ուշացումների պատուհաններ

Watermark-ը ժամանակի ընթացքում («occurred _ at») + ընդունիր

դրամապանակ/տոկոսադրույք ՝ 24-48 ժամ, վճարումներ/PSA: 72 ժամ (կան ռետրո-վեբհուկներ), ծպտյալ ՝ մինչև 24 ժամ հազվագյուտ ռեգորների համար։

Reprocess-ի ավելի ուշ իրադարձությունները 'Gold-ի վիտրինը վերահաշվարկի (MERGE), ուղղման ամսագիր։

5. 3 SLA հաղորդակցություն

Տվյալների կատալոգը պարունակում է SLA ատրիբուտներ ՝ «freshness _ target», «freshness _ status», «expected _ lag _ p95», «watermark»։

Dashbords «թարմություն» ալտերտերի հետ խախտման ժամանակ։

6) Տվյալների որակը (DQ) և պայմանագրերը

Medracom-ը յուրաքանչյուր թեմայի համար 'Avro/JSON, semver, պարտադիր դաշտեր, բիզնես ինվարանտներ (օրինակ ՝ «win _ minor 240», «currency NO-2417»)։

DQ-ստուգումներ Silver-ը 'հաճախականության եզակիությունը, հանրաքվեական ամբողջականությունը, հավասարակշռության ստուգումը (դրամապանակի իջեցումը), PSA/պատճառները, ամսաթվերի միջակայքը։

Severity: «ERROR» (արգելափակող), «WARN» (մարկիրուս), «III»։

Monitoring: Խախտումների տոկոսը, ավելի բարձր պատճառները, ավտոմատ տիկետները։

Sampling & replay: Պահել հում Bronze-ը վերամշակման համար։

7) PII, նստավայր և անվտանգություն

PII-վիտրինը առանձնացված է վերլուծությունից 'Silver/Gold - կեղծանուն, դիմակավորում/հեշի, տոկենիզացիա։

Residency: EU/UK/IV և այլն - ֆիզիկապես առանձին տանկեր/տանկեր և; առանց համաձայնության և անեծքի ոչ մի քրոս-կարդալու միջոց չկա։

Доступ: RBAC/ABAC (Lake/DWH), row-level security по `tenant/brand/region`.

Կոդավորումը ՝ at-rest (KFC) և in-transit, per region/brand բանալիները, WORM-ի հասանելիության և փոփոխության աուդիտը։

Մոռացման իրավունք 'խաղային տվյալների կոդավորման մեխանիզմ առանց ֆինանսական գրառումների (դե նույնականացում)։

8) Վիտրին Գոլդի մոդելավորումը (աստղ)

8. 1 Փաստ-աղյուսակը

«Fact _ bets» (տողի վրա/կամ երկու աղյուսակ), «fact _ wallet _ entries», «fact _ payments» (դեպոզիտներ/cashauta/vervates), «fact _ bonus _ wager», «fact _ jackpot»։

8. 2 Չափումներ

`dim_date/time`, `dim_player` (pseudonymous), `dim_game`, `dim_provider`, `dim_psp`, `dim_brand`, `dim_region`, `dim_currency`.

8. 3 Մետրիկներ և հաշվարկներ

GGR/NGR, պահպանումը/հաճախականությունը, RTP (խաղի/պրովայդերի/տարածաշրջանի), դեպոզիտի փոխադարձությունը, settle lag, success-rate PBS, cost-per-sucess, FX-PnL, jackpot portributions/payouts.

9) Արտադրողականությունը և արժեքը

Կուսակցությունը '«occurred _ date» + «region/tenae», երբեմն «game _ id» -ի համար Gold-ագրեգատների համար։

Կլաստերիզացիա/Z-Order: «player _ id», «game _ id», «prone», «currency»։

Կոմպակտիա և վակուում 'պլանավորված «OPTIMIZE/COMPACT», «կախված» տարբերակների հեռացում (հաշվի առնելով իրավական փոխանցումները)։

Քեշի 'resport-cache/warehouse cache, materialized views տաք կոդերի համար։

Ինդեքսները MSH-ում 'կլաստեր/սեգմենտներ (Winowflake clustering keys, BigQuery partics + cluster)։

Արժեքը 'սառը Bultze-ը օբյեկտի պահեստում, տաք Gold/մարտ-ագրեգատները' CSH-ում։ Avto-parking/auto-scail.

10) Գծեր, կոմպոզիցիաներ և կոմպոզիցիաներ

DireCatalog (OpenMetadata/Amundsen/Collibra) 'աղյուսակների նկարագրությունը, սեփականատերը, SLA, PII դաշտերը, հասանելիության քաղաքականությունը։

Գծագիր ՝ աղբյուրից (իրադարձություն/CDC) մինչև վիտրինը և զեկույցը։ կախվածության տեսանելիությունը անվտանգ փոփոխության համար։

Changelog սխեմաներ ՝ semver և ավանդների ամսագիր։ թեստերը տեղադրված են CI plines-ում։

11) Reconciliation (տվյալների հաշվարկներ)

Ամեն օր

«wallet _ entry» - ը պարունակում է հիբրիդային հաշվեկշիռ (փաթեթավորման փաթեթավորում), վճարումներ ՝ PBS/Banks զեկույցներ 2019 'fact _ payments «, ծպտյալ ՝» txid/network «wwww.ff _ payments»։

Категории: `match`, `timing`, `missing_source`, `missing_platform`, `amount_mismatch`.

Ալերտներ '"mismatch'> շեմն; aging անվստահելի> N օր։

12) SLA աղյուսակները (օրինակ)

Տիրոն	Bronze (ingest)	Silver (մաքրում)	Gold (մարտին)	Ուշ իրադարձությունները (watermark)
Wallet	242 րոպե	10 րոպե	2415 րոպե	48 ժամ
Bets/Settlements	242 րոպե	10 րոպե	2430 րոպե	48 ժամ
Payments (PSP)	245 րոպե	2415 րոպե	60 րոպե	72 ժամ
Crypto	realtime-ը վերջնական է	2415 րոպե	60 րոպե	24 ժամ
Reports (T+1)	06:00–08:00	≤09:00	≤10:00	7 d

13) Դելպլայններ. Որից մենք հավաքում ենք

Ingestion: Kafka Connect/Debez.ru, ամպային ingestion ծառայություններ, SFTP pullers։

ETL/ELT: Spark/DBT/Trino/Beam/Flink (striming Silver), Airflow/Argo նվագախմբի համար։

Որակը ՝ Great Expectronics/Deeast/dbt tes.ru։

Մոսկվա: OpenTelemetry + metrics Lake/MSH (freshness entay, job latency, cost)։
Պատահարը և խոհարարը 'Bronze-ից reprocess, dedup, plines։

14) Չեկ թերթերը

Ճարտարապետություն և անվտանգություն

Lakehouse ձևաչափը (Delta/Iceberg/Hudi) ACID-ից և time travel-ից։
Բաժանումը 'bronze/silver/gold ", www.box/CDC որպես հիմնական աղբյուրներ։
PII մեկուսացում, թունավորում, RSA 'tenault/brand/region "։
Նստավայրը տանկերի/թողարկումների մակարդակում, բանալիներ/գաղտնիքներ per region։
WORM-աուդիտ սխեմաների/քաղաքական/հասանելիության կանոնները։

Որակը և SLA

DireCorracom և semver-սխեմաներ; թեստերը։
Watermarks և reprocess, Witrins Expremental MERGE։
Dashbords թարմ և SLA-alerta; owner յուրաքանչյուր աղյուսակում։
Reconciliation դրամապանակի/www.am/crypto։

Արտադրողականությունը և արժեքը

Կուսակցության և կլաստերիզացիայի; «փոքր ֆայլերի» բաղադրամասը։
Նյութականացված վիտրինները հիմնական զեկույցների տակ։
Autskayl/autoparking, ռեթենշենի և արխիվների քաղաքականություն։

15) Կարմիր դրոշները (հակատիպեր)

BI-ը և կարգավորող զեկույցները ուղղակիորեն ծեծում են OLTP-ով։

Bronze-ը «վերաշարադրվում է» և կորցնում է հում տվյալները։
Ոչ watermarks, ավելի ուշ իրադարձությունները «կհայտնվեն»։
«Idempotency _ key »/« event _ id» -ի դեդուպի բացակայությունը կրկնապատկվել է Gold-ում։
PII-ը և տարբեր տարածաշրջանների գումարը միասին պահվում են առանց RFC և բնակության։
Սխեմաները փոխվում են «հանգիստ» (առանց semver/2019), կոտրելով վիտրինները։
Միլիոնավոր փոքր Parquet ֆայլեր առանց կոմպակտի ցույց են տալիս թանկարժեք հարցումներ։
Ոչ մի SLA/dashbords թարմ; «անակնկալներ» եռամսյակային հաշվետվության մեջ։

16) Եզրակացություն

Lake + MSH-ը iGaming-ում ոչ միայն պահեստ է, այլ վերահսկվող էկոհամակարգ 'ստանդարտացված սխեմաներ և պայմանագրեր, ACID-lakehouse, հստակ SLA թարմություն և ուշացման պատուհաններ, որակը և գծերը, PII անվտանգությունը և նստավայրը։ Ավելացրեք reconciliation-ը և խնայողությունները կուսակցության/կոմպակտի վրա, և դուք կունենաք գաղտնիության, սննդի լուծումների և բիզնեսի մասշտաբի հիմքը առանց գիշերային ներարկումների և «ձեռքով Exce»։