Observability: metrikler, logler, iGaming-de yzarlamak

1) Näme üçin observability takyk iGaming

Oýunçylar hakyky wagtdaky gijikdirmelere we şowsuzlyklara duýgur (göni oýunlar, jedeller, ýaryşlar). Loginiň/goýumyň/yzyna almagyň islendik pese gaçmagy girdejä we ynama täsir edýär. Gözegçilik edilmegi:

L3-L7, programmanyň we işiň dessine suratyny bermek;
öň, API, oýun üpjün edijileri, tölegler arasyndaky "dar ýerleri" çalt lokallaşdyrmak;
azyk feýllerini "owadan" tehniki metrlerden takyk aýyrmak (jedel etmek mümkin däl).

Açar: SLO-dan (service level objectives) başlap, diňe şondan soň metrikleri/logleri/yzarlamalary saýlaň.

2) Azyk SLO we býudjet ýalňyşlygy (error budget)

SLO mysallary (30 günüň içinde):

Giriş: üstünlik ≥ 99. 90%, p95 latency ≤ 250 ms.
Depozit ('/payments/deposit ') we netije: üstünlik ≥ 99. 85%, p95 ≤ 400 ms.
Hakyky wagt stawkasy: üstünlik ≥ 99. 9%, p95 WS-habarlar ≤ 120 ms.
Live-oýun slotyny/sessiýasyny başlamak: üstünlik ≥ 99. 8%, p95 ≤ 800 ms.

"Error budget" -y goýberiş syýasatyna geçirýäris: eger sarp edilse> 50% - diňe stop-fiç/kanar deplasy;> 80% - diňe bagfikler.

3) Telemetriýanyň "Üç kiti"

Metrikler (ýagdaýyň kwantifikasiýasy)

Her endpoint/usul boýunça ulanyjy API: Rate, Errors, Duration üçin RED.

Infrastruktura üçin USE: Utilization, Saturation, Errors (CPU, ýat, IO, baglanyşyklar, nobatlar).

Işewürlik metrikleri: hasaba alyş öwrülişigi → goýum, üstünlikli netijeleriň paýy, işjeň durmuş-kazino stollarynyň sany, kotirowkalaryň ortaça gijikdirilmegi.

Loglar (faktlar we kontekst)

Gurluşlaşdyrylan JSON-wakalar: 'ts', 'level', 'service', 'env', 'trace _ id', 'span _ id', 'user _ id' (lakamly), 'session _ id', 'route', 'status', 'latency _ ms', 'amount', 'currency', 'provider'.

Kategoriýalar: audit (hukuklaryň/balansyň üýtgemegi), işewürlik wakalary (stawka, goýum), ýalňyşlyklar (stack/kod), tehniki goldaw (warn/info).

Yzarlamak (sebäp-netije baglanyşyklary)

End-to-end front arkaly → API → töwekgelçilikli hereketlendiriji → oýun üpjün edijileri/tölegler → nobatlar/DB.

Hatalary giňden ýazmak (100%), "haýal" haýyşlary uýgunlaşdyrmak (mysal üçin, p95 +), kem-kemden traffigiň 1-5% -i.

4) Metrikleriň dizaýny: näme atmaly we nädip atlandyrmaly

Mysallar Prometheus-metrik (psevdo):


RED по платежам counter ig_payments_requests_total{route="/payments/deposit",method="POST",provider="card"}
counter ig_payments_errors_total{route="/payments/deposit",code="5xx",provider="card"}
hist   ig_payments_latency_seconds_bucket{route="/payments/deposit",le="0. 25"}
gauge  ig_wallet_balance_anomalies{reason="negative_after_loss"}

Бизнес counter ig_bet_placed_total{game="slot",provider="PragmaticPlay",currency="EUR"}
hist   ig_bet_rtt_ms_bucket{game="live_blackjack",le="100"}
gauge  ig_active_tables{provider="Evolution",market="EU"}

Düzgünler:

Nyşanlaryň ýeke-täk ontologiýasy: 'env', 'region', 'market', 'provider', 'route', 'game', 'payment _ method'.
Kardinallygy partlatmaň: 'user _ id' -ni metriklerde çäklendiriň (diňe loglarda/treyslerde).

5) Logi: gurluşy, gizlinligi, retenşeni

Kritiki hereketler üçin iň az JSON:

json
{
"ts":"2025-10-23T17:41:26. 123Z "," level ":" INFO "," service ":" payments-api "," env ":" prod ","  ","  ",//lakamy, email/telefon däl
"session_id":"s_78a…",  "route":"/payments/deposit",  "status":200,  "latency_ms":182,  "amount":100. 0,  "currency":"EUR",  "provider":"card",  "bin_country":"DE"
}

Amallar:

PAN/CVV, bellikler, parollar, JWT - hatda debug.
Loglary ('trace _ id') we müşderä ('user _ pid' lakamy) baglamak.
TTL: "şowhunly" tehniki bloglar 14-30 gün, audit-trail 1-3 ýyl (syýasat we kanun boýunça), biznes-bloglar 6-24 aý (lakamly).
Audit üçin WORM/immutability (üýtgemeýän baketler), rollar boýunça ACL.

6) Ýollar: frontdan üpjün edijä çenli

Uzyn flow

Giriş/hasaba alyş → antibot/WAF → Auth-API → profil/gapjyk.

Depozit → Töleg-API → üpjün ediji → webhooks → Wallet-service.

Jedel → Game-gateway (WebSocket) → oýun üpjün edijisi → ýeňiş hasaplamasy → Wallet.

Taktika

OpenTelemetry hemme ýerde: SDK frontda (XHR/Fetch), mobilde, API-de, workerlerde.

Kontekst protokollary: W3C traceparent/tracestate; gRPC/HTTP/WebSocket arkaly zyňmak (WS - ilkinji metadata/habarlarda).

Adaptive sampling: 100% ýalňyşlyklar üçin, ≥ 50% töleg netijeleri üçin, 10% ≥ "täze" neşirler/kanarlar üçin, 1-5% fon.

Trace-view wizual bellikleri: 'risk _ decision', 'provider _ name', 'bonus _ id', 'jackpot _ round'.

7) Hakyky wagt kanallary: WebSocket/WebRTC

Метрики: `ws_connected_sessions`, `ws_messages_in_flight`, `ws_send_latency_ms`, `ws_disconnect_reason`.

Trace-wakalar: 'ws _ subscribe _ table', 'ws _ bet _ place', 'ws _ settlement'.

Logi: habarlaryň ululygyny/ýygylygyny kadalaşdyrmak; "boş pingleri" we flood-patternleri yzarlamak.

WebRTC (live-casino) üçin: 'jitter _ ms', 'packet _ loss', 'round _ trip _ time _ ms', 'keyframe _ interval _ s'.

8) Alerting: alamatlardan sebäplere çenli

Simptomatiki alertler (SLO/SLA):

SLI giriş hatasy> 0. 5 minutda 3%.
p95 '/payments/deposit '> 400 ms 10 min yzly-yzyna.
Jedelleriň üstünlikli bolmagy <99. 15 minutda 7%.

Sebäpler/çeşmeler:

`db_connections_saturation > 0. 85` 5 мин; `queue_lag_seconds > 30`.
Bir ASN → signaldan '429 '/' 5xx' WAF/bot dolandyryjysyna bökmek.

Sesiň azalmagy:

Allertler diňe durnukly düzgün bozmalar bolan ýagdaýynda; dublikatlaryň awto-öçürilmegi; routes to runbooks.

9) Hakyky kömek edýän daşbordlar

"Depozit ýazgysy"

Huni: haýyş → üpjün edijä ibermek → kolbek → gapjygyň täzelenmesi.

Üpjün edijiler boýunça üstünlik/ýalňyşlyklar, BIN-ýurt kartasy, gizlinlik p95/99, ýalňyşlyk kodlaryny paýlamak.

"Göni oýunlar/jedeller"

Işjeň stollar, onlaýn oýunçylar, p95 WS gijikdirmeler, paýlaşmak/aborts, ýalňyşlyklar boýunça iň gowy oýunlar.

"API saglygy"

Esasy ugurlar boýunça RED, 4xx/5xx, birikme howuzynyň saturations/CPU/GC, top N haýal endpoints (trade linkleri bilen).

10) Bahasy we saklanylmagy: nädip bankrot bolmaly däl

Cardinality budget: bellikler/atributlar üçin çäkler; metrikleri goşýan PR review.

Tiered storage: gyzgyn 3-7 gün (çalt gözleg), ýyly 30-90 gün (S3/obýekt), sowuk arhiw (seýrek).

Downsampling metrik (1s → 10s → 1m) we rolling-agregasiýa.

Retraýlardan we idempotent jaňlaryndan bloglaryň duplikasiýasy.

11) Gizlinlik we gabat gelmek (gysgaça)

'user _ id' lakamyny alyň, e-poçta, telefon, pasport ýazgylarynda saklamaň.

Transporty (mTLS) we "rahatlygy" şifrläň, elýeterliligi tapawutlandyryň (RBAC/MFA), maglumatlara girmegiň meta-ýazgylaryny ýörediň.

Data matrisa ýaly TTL/retenshen; "aýyrmak hukugyny" taryhy toplumlarda baýdaklary-deaktiwasiýa we lakamlaşdyrmak arkaly amala aşyryň.

12) Wakalar we traýslar boýunça düzedişler: çalt resept

1. Simptomatiki alert işledi (goýumlaryň üstünligi).

2. Daşbord bir üpjün edijiniň köpelendigini görkezdi.

3. Trace-view-a basmak: 'provider _ callback' -e uzak ädim ätmek (p99 2. 3 s), köp retraýalar.

4. Logs: 'timeout' + ASN = botpattern bilen hosting.

5. Hereketler: taymautlary kolbekde galdyrdylar, ASN üçin WAF-da JS-challenge açdylar, retralary çäklendirdiler.

6. Retro: 'callback _ success _ ratio' -a SLI goşduk, 'queue _ lag _ seconds' -a alert.

13) Tapgyrlar boýunça ornaşdyrmak

1. 4-6 möhüm flow üçin SLO dizaýny (giriş, goýum, çykyş, oýny başlamak, jedel).

2. RED/USE + business-SLI metrikleri; bellikleriň ýeke-täk shemasy.

3. Gurluş ýazgylary 'trace _ id'; duýgur ýerleri gizlemek.

4. OpenTelemetry hemme ýerde; uýgunlaşdyrylan semplemek.

5. Daşbordlar + alertler (simptomatiki we sebäpler), runbooks.

6. Kostýum dolandyryşy: kardinallyk, downsampling, saklamak derejesi.

7. Maşklar: GameDay-ssenariýalary (tölegiň düşmegi, üpjün edijiniň yza galmagy, WS-iň köpelmegi).

8. Yzygiderli gowulaşma: Täze aýratynlyklar ýüze çykanda SLI goşuň, "kör ýerleri" ýapyň.

14) Çek-sanawy (prod-ready)

SLO/SLI tassyklandy, goýberiş syýasatynda error budget.
RED/USE metrikleri + ýeke-täk bellik ontologiýasy bilen iş metrikleri.
JSON ýazgylary, syrlary gizlemek, her habarda 'trace _ id'.
End-to-end tracking (HTTP/gRPC/WebSocket/WebRTC), W3C kontekst.
Simptomatiki we sebäpler, ses ýok, runbooks-da baglanyşyk.
Depozitler, nyrhlar, API saglygy üçin daşbordlar; 'provider/market' boýunça çalt süzgüçler.
Sample/kardinallyk gözegçilik astynda, tiered storage.
Gizlinlik: lakamlaşdyrmak, şifrlemek, RBAC/MFA, meta-habarlar.
Maşklar we retro, SLO-ny yzygiderli gözden geçirmek.

Jemleme

"iGaming" -iň syn edilmegi "CPU grafikleri" däl-de, hakyky wagtda önüm suraty: SLO kritiki flow, RED/USE metrikleri, baglanyşyk ýazgylary we oýunçynyň we puluň tutuş ýolunyň üsti bilen yzarlamalar. Nädogry býudjet boýunça alerting düzgünini goşuň, telemetriýanyň bahasyna gözegçilik ediň, gizlinligi saklaň - topar çaklamaz, ýöne kynçylyklaryň sebäplerini görer we oýunçylar muny duýmazdan ozal olary bejerer.