Gerçek Zamanlı Besleme Etkinlikleri: Mimari ve Güvenlik

Gerçek zamanlı olay akışı, oyunlaştırma, sahtekarlık önleme, CRM tetikleyicileri ve ödemeleri olan ürünlerden oluşan bir "dolaşım sistemi'dir. Zirvelerde öngörülebilir bir şekilde çalışması, ödülleri çoğaltmaması ve veri sızdırmaması için katı bir mimariye ihtiyaç vardır: protokollerden ve otobüsten imzaya, idempotency, bütçe privateers ve gözlemlenebilirlik.

1) Hedefler ve gereksinimler

Güvenilirlik: Minimum gecikme ile olayların teslimi (p95 ≤ 250 ms alma, p95 ≤ 1-2 s tüketiciye).

Teslimat: En az bir kez taşıma + mantıksal tam olarak bir kez idempotence yoluyla.

Sipariş: Pencereleri yeniden düzenleyen anahtarla (genellikle 'user _ id') sipariş.

Güvenlik: MTLS, HMAC/JWT, anahtar döndürme, tekrarlama/çoğaltma koruması, PII minimizasyonu.

Ölçek: yatay sharding, geri basınç, hız sınırlaması, DLQ/tekrar oynatma.

Yönetilebilirlik: şema kaydı, sürüm oluşturma, kesinti olmadan geçiş.

Uyumluluk: denetim (WORM), RG/KYC kapıları, coğrafi politikalar, GDPR/anonimleştirme.

2) Referans mimarisi (katman katman)

1. Üreticiler (kaynaklar): oyun sunucusu, cüzdan/ödeme, KYC/AML, istemci SDK'ları (web/iOS/Android).

2. API Ağ Geçidi (Giriş): HTTP/gRPC alımı, şema doğrulama, kimlik doğrulama, HMAC/MTLS, zaman normalleştirme.

3. Queue/Stream: Kafka/Rabbit/Cloud Pub/Sub - buffering, partitioning by 'user _ id'.

4. Akış İşlemci: normalleştirici, zenginleştirme, konu yönlendirme, anomali/anti-bot bayrakları, idempotent kayıt.

5. Tüketiciler: Kurallar/Puanlama, Ödül Orkestratörü, CRM/CDP konektörleri, dolandırıcılıkla mücadele, analitik lavabo've.

6. Depolama: değişmez olaylar, vitrinler, idempotency indeksi, denetim günlüğü.

7. Gözlemlenebilirlik: metrikler, günlükler, izler, uyarılar; Panik - DLQ.

8. Admin Plane: şema kaydı, anahtarlar/sırlar, RBAC/ABAC, phicheflags, yeniden oynatma hizmeti.

3) Teslimat protokolleri: ne zaman ne kullanılacağı

HTTP/JSON (sunucudan sunucuya web kitapları): basit, uyumlu, harici ortaklar için iyi. HMAC + idempotency ekleyin.

gRPC/Protobuf: düşük gecikme süresi, katı şemalar, dahili hizmetler için bidi akışları.

WebSocket/SSE: istemciye itme, lider tablolarına UI abonelikleri ve ilerleme.

CDC/Kafka Connect: Kaynaklar iş hizmetleri değil, veritabanları/cüzdanlar olduğunda.

Öneri: dış çevre - HTTP + HMAC + MTLS; İçinde - gRPC/Protobuf.

4) Etkinlik ve Kongre Modeli

Json
{
"event_id": "e_01HF3Z8Z7Q8Q2K," "event_type": "bahis", "schema_version": "1. 3. 0 "," occurred_at": "2025-10-24T11:37:21Z," ingested_at": "2025-10-24T11:37:21. 183Z," "anahtar": {"user_id": "u_12345"}, "ctx": {
"session_id":" s_778, "" platform ":" ios "," geo ":" TR "," device_fp" ":" fp_4a1... "
}, "payload": {
"game_id": "slot_wolf," "bahis": 0. 5, "kazanmak": 1. 25, "para birimi": "EUR", "sağlayıcı": "GameCo"
}, "sig": {
"algo": "HMAC-SHA256," "kid": "k_2025_10," "ts ": 1730061441, "mac": "c7b7b3... f1"
}
}

Kurallar:

İki kez 'incolved _ at' (source) ve 'ingested _ at' (gateway). Saatin 300 s ± kaymasına izin verin.
Yönlendirme anahtarı, sırayı belirleyen şeydir (genellikle 'user _ id').
Sadece 'ctx'/' payload' minimizasyon prensibine göre PII; Hassas özellikler için, tokenization.

5) Teslimat, sipariş ve idempotans

En az bir kez taşıma - kopyalar ve yeniden sıralama mümkündür.

Tam olarak bir kez mantık: '(event_id)'ve/veya' (user_id, source_seq) 'üzerinde benzersiz bir indeksi olan bir idempotence tablosu tutun; Tekrar ediyorum - operasyon yok.

SQL taslağı:

sql
TABLO OLUŞTUR event_log (
event_id TEXT BIRINCIL ANAHTARI, user_id TEXT, event_type TEXT, occurred_at TIMESTAMPTZ, yük JSONB
);

- çift korumalı insert
INSERT INTO event_log (event_id, user_id, event_type, occurred_at, yük)
DEĞERLER (:event_id,:user_id,:event_type,:occurred_at,:payload)
Çatışma Üzerine (event_id) Hiçbir Şey Yapma;

Sipariş: işlemcide 'user _ id' + 60-120 sn pencereyi yeniden sıralayarak akışı bölümleme. Daha sonra, gelen olaylar düzeltici işlevlerin "tekrarına" düşer.

6) Geri basınç ve tepe yönetimi

Token-bucket hız sınırlaması на girişi (IP başına, ortak başına, anahtar başına).

Devre kesici: Dahili tüketicilerden 5xx ile, bozulma - (isteğe bağlı olayların bırakılması, kuyruklar yeniden ödeme aralıklarını artırır).

DLQ: kalıcı olarak hatalı mesajlar (bitmap, imza geçersiz, imza TTL aşıldı).

Yeniden oynatma hizmeti: 'Event _ id'/zaman aralığına göre seçici DLQ tekrarı.

7) Şemalar ve evrim: Prod nasıl "kırılmaz"

Şema Kayıt Defteri: JSON Şeması/Protobuf; Uyumluluk politikaları: üreticiler için geri, tüketiciler için ileri.

Sürüm oluşturma: 'schema _ version', major - sadece ficheflag ve çift yazma (dual-write) yoluyla.

Sözleşmeler: kanarya döneminden sonra planın tanıtımı ve yeşil ölçümler.

YAML örnek doğrulama kuralı:

Yaml uyumluluk:
enforce: true mode: backward blocked_fields:
- yük. ssn
- yük. card_number required_fields:
- event_id
- event_type
- occurred_at

8) Tehdit modeli ve koruma

Tehditler: gövde sahteciliği, tekrar oynatma, PII sızıntısı, anahtar uzlaşması, şema zehirlenmesi, DoS, MITM, imza sıyırma.

Koruma:

Çevre üzerinde MTLS: kısa vadeli istemci sertifikaları, CRL/OCSP.
HMAC gövde imzası + 'X-Timestamp've TTL (± 300 s).
JWT (istemci credentials/OAuth2) - yetkilendirme ve kapsam kısıtlamaları için.
Anahtar döndürme (KMS): Başlıkta'çocuk '; rotasyon planı 30-90 gün; Geçiş penceresini iki kez kontrol et.
Nonce/idempotency: Yan talepler için 'X-Request-Id' (ödemeler, bonuslar); Bir süre TTL tutun.
Content-Type sabitleme, maksimum gövde boyutu, kritik entegrasyonlar için izin listesi IP/ASN.
Gelen tüm ham yük + başlıklarının WORM denetimi (değiştirilemez depolama).

HMAC (sözde kod) testi örneği:

Python body = istek. raw_body ts = int (istek. üstbilgiler [" X-Timestamp"])
Assert abs (now () - ts) <= 300 # анти -replay kid = request. üstbilgi [" X-Key-Id"]
gizli = kms. Getir (çocuk)
mac = hmac_sha256 (gizli, vücut)
assert hmac_eq (mac, request. üstbilgiler [" X-İmza"])

9) Gizlilik, PII ve RG/KYC

Minimizasyon: PII'yi satır içi yerine belirteç bağlantısıyla (5-15 dakika) aktarın; Ham günlüklerde düzenleme/anonimleştirme yasaktır - ayrı PII sayfaları kullanın.

Erişim: Yargı ve rol özelliklerine göre ABAC; Tüm okumalar - denetim günlüğüne.

GDPR: Olayların gerçeklerini bozmadan PII'yi silmek için anahtar eşleme yoluyla silme hakkını kullanır.

RG/KYC: Değerli ödüller gerektiren etkinlikler, yalnızca geçerli KYC seviyesi ve RG bayrakları "Tamam'ile atlayın.

10) Gözlemlenebilirlik ve SLO

SLO (örnek):

Ingest p95 ≤ 250 ms; Uçtan uca p95 ≤ 2 с; ≤ 0 başarısızlığı. %1/gün.
Hata İmzası (HMAC/JWT) ≤ 0. Toplam akışın %02'si.
DLQ dolum oranı ≤ 0. 1%; idempotency ≤ 0'dan sonra "kopyalar". 005%.

Pano:

Kaynağa göre RPS, p50/p95 gecikme, 4xx/5xx, hata imzaları, zaman eğrisi.
Partiye göre gecikme, işleme/saniye, DLQ'yu doldurma, yeniden denemeler, hacimleri tekrar oynatma.
Şemalar: mesajların sürüme göre paylaşılması, uyumluluk ihlalleri.
Güvenlik: rps-gaz hızı, devre kesiciler, IP/ASN anomalileri.

Uyarılar (örnekler):

Akışın SRM'si (bir kaynaktan gelen trafiğin keskin bozulması).
Gecikme süresi p95> hedef 5 dakika +, DLQ büyümesi> X/dk.
Hata imzaları> Y ppm, 'X-Request-Id' yeniden oynatma artışı.
Kaynağında sürüklenme saatleri> 120 s.

11) Çok bölgeli ve hata toleransı

Active-Active bölgeleri, global yönlendirme (GeoDNS/Anycast), 'user _ id'ile sticky-key - bölge.

Kritik olaylar için bölgeler arası çoğaltma konusu (parasal, KYC).

Patlama yarıçapı: kiracılar/markalar, bireysel bütçeler ve anahtarlar tarafından izolasyon.

DR-planı: RPO ≤ 5 dakika, RTO ≤ 30 dakika; Düzenli provalar.

12) Saklama ve tekrar oynatma politikaları

Ham etkinlikler: 7-30 gün (maliyete göre), kümeler/vitrinler - daha uzun.

Yeniden oynatmaya yalnızca imzalı bir çalışma kitabı (kim, ne, neden, zaman aralığı) tarafından izin verilir.

Replay her zaman analitik şeffaflık için 'replayed = true' bayrağı ile yeni bir akış sürümüne gider.

13) Yapılandırma örnekleri

Giriş (NGINX stili) sınırları:

nginx limit_req_zone $ binary _ remote _ addr zone = req _ limit: 10m rate = 300r/s;
limit_req bölgesi = req _ limit burst = 600 nodelay;

client_max_body_size 512k;
proxy_read_timeout 5s;

Kafka (örnek):

num. partitions = 64 min. insync. Kopyalar = 2 acks = tüm tutma. ms = 604800000 # 7 gün sıkıştırma. Tip = zstd

Anahtarlar için Politika (KMS):

Yaml rotation_days: 45 grace_period_days: 7 allow_algos: ["HMAC-SHA256"]
key_scopes:
- konu: "wallet_events"
üreticiler: ["wallet-svc"]
tüketiciler: ["ledger-svc ", "risk-svc"]

14) Gerçek zamanlı besleme başlatma kontrol listesi

Çevre üzerinde MTLS, HMAC/JWT, anahtar rotasyon ('çocuk ').
Mantıkta idempotans (benzersiz anahtarlar, uppert/ON CONFLICT).
'user _ id'ile bölümleme, pencereyi yeniden sıralama, yeniden oynatma hizmeti.
Şema kayıt defteri + uyumluluk politikaları; Büyük güncellemeler için çift yazma.
Hız sınırlaması, devre kesiciler, DLQ + manuel inceleme.
Gözlemlenebilirlik: SLO, imza/gecikme/DLQ/gecikme ile uyarılar.
PII/anonimleştirme politikası, ABAC, WORM denetimi.
DR/çok bölgeli, feilover provaları.
Runbooks: olaylar, yeniden oynatma, şema/tuş geri dönüşü.

15) Mini Kasa (Sentetik)

Bağlam: Turnuva zirvesi, 120 ila RPS girişi, 64 oyun, 2 Aktif-Aktif bölge.

4 hafta boyunca toplam: p95 210 ms, e2e p95 1 alın. 6 s; DLQ 0. 05%; hata imzaları 0. 009%; idempotency 0'dan sonra çoğalır. 003%.

Olay: Ortağın saat kayması (− 9 dakika) - anti-tekrar dalgalanması. Devre kesici akışı "tampon" uç noktasına aktardı, ortak-sağlık CSM'ye bildirildi; NTP çürükten sonra - pencere tüm tüketicilere 12 dakika tekrarlar. Kayıp ve çifte ödeme yoktur.

16) Özet

Güvenilir bir gerçek zamanlı besleme "sadece webhooks değildir. "Bu, açık sözleşmelere sahip katmanlı bir sistemdir: en az bir kez taşıma + mantıksal olarak bir kez, kayıt şeması ve sürüm oluşturma, MTLS/HMAC/JWT ve anahtar rotasyonu, geri dönüş/DLQ/tekrar, PII minimizasyonu ve sıkı denetim. Bu uygulamaları izleyerek, oyunlaştırma, sahtekarlık önleme, CRM ve ödemeleri güvenle oluşturabileceğiniz hızlı, güvenli ve öngörülebilir bir etkinlik akışı elde edersiniz.