카지노 용 데이터 레이크 및 DWH: 회로도, SLA 다운로드

전체 기사

💡 18+. 플랫폼/운영자, 스튜디오 및 분석 팀을위한 기술 자료. 플레이 요청이 아닙니다. 플랫폼별로 우리는 RGS/live/jackpots/payment 통합 공급자에 의한 PAM/wallet/cashier/bonuses/RG를 의미합니다.

1) 왜 Data Lake Casino 및 DWH

보고 및 준수: 규제 업로드 (GGR/NGR, KYC/AML, RG), 자금 감사.

제품/마케팅: LTV/보존, 세분화, A/B, 권장 사항.

운영: 공급자, PSP, SLA 라이브 게임 및 금전 등록기 모니터링.

데이터 솔루션: 저렴한 장기 스토리지 (Lake) 위에 빠른 매장 (DWH).

결론: Lake는 원시 및 청소 레이어를 저장하며 DWH는 빠른 쿼리와 관리 모델을 제공합니다.

2) 참조 아키텍처 (레이크 하우스)


출처 (OLTP, Kafka, Webhooks, CDC)
│
원시-청동 (원시, 추가 전용; Parquet/Delta/Iceberg)
(PHP 3 = 3.0.6, PHP 4)
와스 타르 -은 (세척, 순응; 디드 업, PII 마스킹, SCD2)
비즈니스 키, 제약, 품질 점검
-금 (마트; 별/눈송이; 큐브 테이블, 집계)
-DWH/쿼리 엔진 (눈송이/빅 쿼리/트리노/스파크 SQL)

차이나, 델타 레이크/아파치 아이스 버그/후디 (ACID 호수, 시간 여행, MERGE).

파일: Parquet + ZSTD/Snappy, 대상 ~ 128-512 MB; "작은 파일" 압축.

카탈로그: Hive/Unity/Iceberg 카탈로그; 지역/테넌트 당 구역 '청동/은/금' 버킷.

3) 도메인 체계 (개념적으로)

3. 지갑/회계 1 개

'wallet _ entry': 'entry _ id', 'play _ id', '방향 (직불)	(PHP 3 = 3.0.6, PHP 4)
불변량: 계정 양 = 균형 (스냅 샷 + 변경 로그를 통해).

3. 2 베팅/정착 (RGS/live)

'bet': 'bet _ id', 'round _ id', 'player _ id', 'game _ id', 'stake _ minor', 'qualy', 'place _ at', 'brand/region', 'provesser _ id', 'in _ benness'.

'정착': '결제 _ id', 'bet _ id', 'round _ id', 'win _ minor', 'setted _ at', 'jackpot _ hit', 'bonus _ state'.

3. 3 지불 (현금 데스크/PSP/암호화)

'payment _ onsisty': 'constitude _ id', 'player _ id', 'method', 'state', 'made', 'command', 'psp', 'producted _ at'.

'캡처/환불/요금 지불': '의도 _ id', 'psp _ ref', 이유 코드에 대한 참조가있는 별도의 테이블.

"txid ',' network ',' sexmations ',' finalized _ at '.

3. 보너스/베이거/잭팟 4 개

'보너스 _ 그랜트', '보너스 _ 진행 (베팅)', '잭팟 _ 기여', '잭팟 _ 지불'.

3. 5 참조 및 측정

'dom _ player' (의사 ID, 지리, 채널, RG 상태-분석에 PII가없는), 'dom _ game', 'dim _ provider', 'dom _ psp', 'dom _ brand', 'dim _ region', 캘린더 치수.

키 및 호환성: Silver/Gold 모델에서-안정적인 비즈니스 키 ('bet _ id', 'round _ id', 'payout _ id', 'insident _ id') 및 "idempotent" 이벤트의 의미론.

4) 스트림 다운로드: 스트리밍 + Microbatch

스트리밍 (Kafka/Pulsar → Bronze): OLTP 및 웹 후크 이벤트, 아웃 박스/CDC는 적어도 한 번은에서 중복을 보장합니다.

CDC (데베 지움/복제 로그): OLTP 테이블 변경 (지갑/지불) → 청동.

Microbatches: PSP/bank/맞춤형 보고서 (STP/API) → 청동 원시 파일 → 정규화.

은의 메르지: 'idempotency _ key/이벤트 _ id', 후발 자 제거 ('watermark'), 측정시 SCD2.

5) SLA 다운로드 및 늦은 창 (워터 마크)

5. 1 개의 전형적인 SLA (랜드 마크)

지갑/원장 이벤트: 브론즈

베팅/정착: 청동 1-2 분, 은 10 분, 금 10 분

결제 (PSP 웹 후크): 동메달을 5 분, 은색을 15 분, 금을 30-60 분 동안 지불합니다.

암호화 최종: 네트워크 종속; 지연 N 확인이있는 사례를 표시합니다.

일일 PSP/은행 보고서: T + 1은 해당 지역의 현지 시간으로 09: 00까지.

5. 늦은 창 2 개

이벤트 시간 별 워터 마크 ('arsed _ at') + 공차:

지갑/베팅: 24-48 시간, 지불/PSP: 72 시간 (레트로 웹 후크가 있음), 암호화: 희귀 조직의 경우 최대 24 시간.
이후의 재처리 이벤트: 골드 윈도우의 재 계산 (MERGE), 수정 로그.

5. 3 SLA 커뮤니케이션

데이터 카탈로그에는 '신선도 _ 대상', '신선도 _ 상태', '예상 _ lag _ p95', '워터 마크' 의 SLA 속성이 포함되어 있습니다.

경고가 위반 된 "신선도" 대시 보드.

6) 데이터 품질 (DQ) 및 계약

각 주제에 대한 데이터 계약: Avro/JSON 체계, semver, 필요한 필드, 비즈니스 불변량 (예: 'win _ minor

실버 DQ 점검: 주요 고유성, 참조 무결성, 잔액 점검 (지갑 조정), PSP 코드/이유의 유효성, 날짜 범위.

심각도: 'ERROR' (차단), 'WARN' (표시), 'INFO'.

모니터링:% 위반, 주요 이유, 자동 티켓.

샘플링 및 재생: 재활용을 위해 생 청동을 보관하십시오.

7) PII, 거주 및 안전

PII 쇼케이스는 가명, 마스킹/해시, 토큰 화와 같은 분석과 분리되어 있습니다.

데이터 레지던트: EU/UK/BR 등 - 물리적으로 분리 된 버킷/카탈로그; 동의 및 프록시없이 지역 간 읽기가 없습니다.

차량: RBAC/ABAC (Lake/DWH), 행 수준 보안 '테넌트/브랜드/지역'.

암호화: 휴식 (KMS) 및 운송 중, 지역/브랜드 키 당, WORM 액세스 감사 및 정책 변경.

잊을 권리: 재무 기록을 삭제하지 않고 게임 데이터를 현지화하는 메커니즘 (식별 해제).

8) 골드 윈도 모델링 (스타)

8. 실제 테이블 1 개

'fact _ bets', 'fact _ wallet _ entries', 'fact _ payment', 'fact _ boners _ wager', 'fact _ jackpot'.

8. 2 측정

'dim _ day/time', 'dim _ player' (의사), 'dom _ game', 'dom _ provider', 'dom _ psp', 'dom _ brand', 'dim _ region', 'dim _ communicy'.

8. 3 가지 측정 항목 및 계산

GGR/NGR, 보류/주파수, RTP (게임/제공자/지역 별), 예금 변환, 지연 지연, 성공률 PSP, 성공 비용, FX-PnL, 잭팟 기여/지불.

9) 성능 및 비용

파티셔닝: 'arsed _ date' + 'region/tentent', 때로는 'game _ id' for Gold 집계.

클러스터링/Z- 주문: 'player _ id', 'game _ id', 'psp', 'currency'.

압축 및 진공: 계획된 'OPTIMIZE/COMPACT', "매달린" 버전 제거 (법적 보류를 고려하여).

캐시: 결과 캐시/창고 캐시, 핫 패널에 대한 구체화 된보기.

DWH의 색인: 클러스터/세그먼트 (Snowflake 클러스터링 키, Big쿼리 파티션 + 클러스터).

비용: 객체 보관의 차가운 청동, DWH의 뜨거운 금/3 월 단위; 자동 주차/자동 스케일.

10) 연계, 카탈로그 및 문서

데이터 카탈로그 (OpenMedata/Amundsen/Collibra): 테이블 설명, 소유자, SLA, PII 필드, 액세스 정책.

계보: 소스 (이벤트/CDC) 에서 쇼케이스 및보고까지; 안전한 변경을위한 제약 조건의 가시성.

Changelog 체계: 탈퇴자의 준결승 및 저널; CI 파이프 라인의 호환성 테스트.

11) 화해

매일:

'wallet _ entry' 총 잔고 (누적 자료 스냅 샷), 지불: PSP/은행은 'fact _ payment', crypto: 'txid/newwork', fact _ payment '를보고합니다.
(PHP 3 = 3.0.6, PHP 4)
경고: '불일치'> 임계 값의 비율; 노화> N 일.

12) 인스턴스 SLA 테이블 (예)

도메인	청동 (가장 많은)	은 (청소)	금 (3 월)	늦은 이벤트 (워터 마크)
지갑	3 분의 2 분	할 수 없습니다	10 분의 1 분	48 시간
베팅/결제	3 분의 2 분	할 수 없습니다	소 30 분	48 시간
결제 (PSP)	10 분의 1 분량	10 분의 1 분	할 수 없습니다	72 시간
크립토	실시간 → finalnost	10 분의 1 분	할 수 없습니다	24 시간
보고서 (T + 1)	06:00–08:00	≤09:00	≤10:00	7 d

13) 파이프 라인: 우리가 수집 한 것

섭취: Kafka Connect/Debezium, 클라우드 섭취 서비스, STP 풀러.

ETL/ELT: 오케스트레이션을위한 Spark/DBT/Trino/Beam/Flink (스트리밍 실버), Airflow/Argo.

품질: 훌륭한 기대/Dequ/dbt 테스트.

모니터링: OpenTelemetry + Lake/DWH 지표 (신선도 지연, 작업 대기 시간, 비용).

사고 및 반복: 청동에서 재처리, 키로 디드 업, 버전이 지정된 파이프 라인.

14) 점검표

아키텍처 및 보안

ACID 및 시간 여행이 포함 된 레이크 하우스 형식 (Delta/Iceberg/Hudi).
'청동/은/금', 아웃 박스/CDC를 주요 소스로 나눕니다.
PII 격리, 토큰 화, '테넌트/브랜드/지역' 별 RLS.
버킷/디렉토리 레벨 거주자, 지역 당 키/비밀.
스키마/정책/액세스 규칙 변경에 대한 WORM 감사.

품질과 SLA

데이터 계약 및 준수 체계; 호환성 테스트.
워터 마크 및 재 처리, 증분 MERGE 쇼케이스.
신선도 대시 보드 및 SLA 경고; 각 테이블의 소유자.
지갑/지불/암호화에 의한 조정.

성능과 비용

파티셔닝 및 클러스터링; "작은 파일" 압축.
주요 보고서에 대한 재료 쇼케이스.
자동 스케일/자동 주차, 보존 정책 및 아카이브.

15) 적색 플래그 (패턴 방지)

BI 및 규제 보고서는 OLTP에 직접 부딪쳤다.

청동은 "다시 쓰기" 하고 원시 데이터를 잃습니다.

워터 마크가없고 늦은 이벤트가 "잘립니다".

'dedempotency _ key '/' event _ id' → 금으로 복제되지 않습니다.

다른 지역의 PII와 돈은 RLS와 거주없이 함께 유지됩니다.

체계가 "조용히" 변경되어 (반주/계약없이) 상점 창이 깨집니다.

수백만 개의 작은 압축되지 않은 Parquet 파일 → 고가의 요청.

SLA/신선도 대시 보드 없음; 분기별로보고에서 "놀라움".

16) 결론

iGaming의 Data Lake + DWH는 스토리지 일뿐만 아니라 표준화 된 체계 및 계약, ACID 호숫가, 명확한 SLA 신선도 및 늦은 창, 품질 및 선형성, PII 보안 및 거주와 같은 통제 된 생태계입니다. 조정 및 분할/압축 절약 기능을 추가하면 야간 마이그레이션 및 수동 Excel없이보고, 제품 솔루션 및 비즈니스 스케일링을위한 기반이 있습니다.