Qanday qilib iGamingga failover va zaxira nusxa olish

Nima uchun iGaming DR/BCP maxsus intizomi

Kazino platformasi - bu real vaqtdagi pul (hamyon/legger), jonli raundlar (RNG/Live), to’lovlar, affiliatlar va qat’iy komplayens. Har qanday «tuynuk» tezda moliyaviy va yuridik xavflarga aylanadi. Shuning uchun arxitektura oldindan aytib bo’ladigan tiklanish atrofida quriladi: ma’lum maqsadlar, ma’lum stsenariylar, mashq qilingan protseduralar.

Asosiy maqsad va atamalar

RTO (Recovery Time Objective): xizmatni tiklash vaqti.

Hamyon/legger uchun: ≤ 60-300 sek (mintaqa ichidagi feylover), ≤ 15 min (mintaqalararo DR).

RPO (Recovery Point Objective): maʼlumotlar yoʻqolishi mumkin.

Ledjer uchun: 0-5 sek (sinxron/kvazisinxron replikatsiya), hisobot uchun: ≤ 15 daqiqa.

SLA va Error Budget: o’zgarishlar tezligi va barqarorlik o’rtasidagi murosalarni rasmiylashtiradi.

Nosozlikka chidamlilik qatlamlari

1) Infratuzilma: Multi-AZ/Multi-Region

Multi-AZ (kamida 3 zona): barcha tanqidiy servislar zonalar bo’yicha taqsimlangan, avtomatik feylover DB/shina.

Multi-Region DR: «issiq» (Active-Active) yoki «issiq» (Active-Passive) yurisdiksiyalar bo’yicha izolyatsiya qilingan ikkinchi mintaqa (data residency).

Qaror, qachon qanday rejim:

Active-Active: ikki hududda o’yinchilarga nisbatan past latentlik, voqealarni sinxronlashtirish orqali cross-region legger + hisob-kitoblar uchun qat’iy yagona «haqiqat joyi».
Active-Passive (warm): oson va arzon; passiv iliq instansiyalarni + DB nusxalarini ushlab turadi, lekin trafikka xizmat ko’rsatmaydi.

2) Tarmoq va perimetr

Sog’lig’ini tekshirish bilan dublyaj qilingan ingress/WAF, Anycast yoki DNS-feilover.

Kassa va provayderlar uchun alohida egress-shlyuzlar, ikkala hududda ham ruxsat etilgan IP ro’yxatlari.

3) Ma’lumotlar va navbatlar

Relyasion DD (Postgres): Patroni/Managed HA, AZdagi sinxron nusxalar, DR-mintaqadagi asinxron nusxa (laglar monitoringi bilan). Har N daqiqada snapshotlar bilan PITR + WAL arxivi.

OLAP (ClickHouse/BigQuery): replikatsiya/shardlash; yo’qotish yuqori bo’lishi mumkin (RPO 15-30 daqiqagacha).

Kesh (Redis): faylover bilan klaster, lekin haqiqat manbai emas; almashtirilganda - iliq isitish.

Voqealar shinasi (Kafka/NATS): ko’zgu klasterlari va/yoki cross-cluster-mirroring, «at-least-once» kafolati, iste’molchilarda idempotentlikni nazorat qilish.

4) Ilovalar va domenlar

Hamyon/ledjer: qat’iy mustahkamlikdagi stateful-yadro, mintaqaga bitta «master-rayter»; mintaqalararo DRda - «elected writer» protsedurasi.

O’yin bridge/API: stateless, health-cheklar bo’yicha gorizontal feylover; idempotencyKey barcha moliyaviy yo’llar uchun.

Bonuslar/xabarnomalar/ETL: kechiktirilgan ishlov berishga ruxsat beradi, navbatlardan qayta ishga tushiriladi.

Kassa (PSP/kripto): multiprovayder strategiya (mamlakatga kamida 2 rels), merchantlar/endpointlarni tezda almashtirish.

5) Jonli oqimlar

mintaqaviy edge-tugunli WebRTC/LL-HLS geytveylari; WebRTC degradatsiyasida LL-HLS fallback-yo’nalishlari.

Oqimni qayta ishga tushirish hisob-kitobga taʼsir qilmasligi uchun tikish mantiqini pleyerdan tashqarida ushlab turish.

Failover-patternlar

Aktiv-aktiv (ikki mintaqali)

Afzalliklari: minimal RTO/RPO, o’yinchilarga yaqinlik.

Kamchiliklar: ledjer va yozuv mojarolarining murakkabligi, qimmat panjara.

Amaliyot: «domenga bitta yozuvchi» + qoʻshni mintaqadagi holatlarni takrorlash uchun event sourcing.

Aktiv-passiv (issiq)

Afzalliklari: narx/murakkablik balansi.

Kamchiliklari: RTO yuqorida, passiv mintaqani «targ’ib qilish» bo’yicha ishlab chiqilgan reja kerak.

Amaliyot: avtomatika + hamyonni almashtirishda qo’lda tasdiqlash (4 ko’z printsipi).

Ichki mintaqa (Multi-AZ)

Avtofeylover DB/kesh/ingress.

DNS/Anycast, RTO soniya-daqiqa oʻzgarishsiz.

Maʼlumot sinflari boʻyicha zaxira nusxa olish (Backup)

Sinf	Namunalar	Metod	Chastota	Saqlash	Verifikatsiya
Pul tranzaksiyalari/ledjer	Postgres	Snapshotlar + WAL arxivi (PITR), mantiqiy nusxa	5-15 min WAL, snapshot 1-4 soat	Object Lock (WORM) obʼekt ombori, kross-mintaqa	Har haftalik DR-tiklash + nazorat summalarini taqqoslash
Voqealar	Kafka topiki	Tiered storage + mirror в DR	Uzluksiz	Obyekt ombori	Test oynalari repleylari
OLAP/hisobot	ClickHouse/BigQuery	Snapshotlar/eksport partiyalari	1-6-son	Obyekt ombori	Nazorat tanlanishini oʻqish
Statik artefaktlar	chiptalar, loglar, eksport	S3 versiyasi, Glacier	Har kuni	WORM/versiyalar	Davriy restore
Sirlar/kalitlar	KMS/HSM meta maʼlumotlar	Aylantirilgan eksport, dual-control	Jadval boʻyicha	HSM nusxalari	Shifrlash testi

Prinsiplar:

Bekap tinch va tranzitda, kalitlar KMS/HSMda shifrlanadi.
Tanqidiy orqaplar uchun Immutable (WORM) rejimi (oʻchirish/shifrlashdan himoya qilish).
Meta maʼlumotlar bilan bekaplar katalogi (sxema versiyasi, WAL oynasi, nazorat summalari).
PITR ledjer uchun majburiydir.

Ma’lumotlar va idempotentlik: feyloverda «teshiklardan» qanday qochish kerak

IdempotencyKey’bet’soʻrovlarida. place`, `payout. request`, `cashier. webhook`.

Ledger - faqat append-only: takroriy settle «qayta yozish» emas, balki tuzatish yozuvini yaratadi.

Tranzaksion qulflar/balansni versiyalash yozuvchi rolini o’zgartirishda poygalardan himoya qiladi.

Hodisalarni dediksiyalash (consumer-side, asosiy maydonlarda xesh).

Kassa, PSP va kripto: B rejasi har doim yoqilgan

Har ikki hududda oldindan ochilgan savdo hisobvaraqlari bo’yicha to’lov usuli (karta/ARM) uchun kamida ikkita provayder.

Steyblkoinlar uchun - ikkita tarmoq (masalan, TRC-20 va ERC-20) va ikkita on/off-ramp-provayder.

To’lov marshrutizatori: Agar PSP muvaffaqiyatsiz bo’lsa, u darhol zaxira ro’yxatiga o’tadi, sabablar jurnalini yuritadi.

KYT/AML-oqimlar takrorlanadi; agar tashqi xizmat mavjud bo’lmasa - qo’lda eskalatsiyalangan «degraded mode».

Operatsion tartib-qoidalar (Runbooks)

Avtomatik

Health-chek zanjiri ingress → API → hamyon → DB → provayder.

Hamyon degradatsiyasida «ogʻir» funksiyalarni (turnirlar/missiyalar) avtomatik oʻchirish.

Eksponensial pauza va qat’iy muddatlar bilan taymautlar/retrajlar.

Qo’lda ishlatiladigan (tasdiqlangan)

DR-mintaqaning aktivga targ’iboti: qadamlar bo’yicha cheklistlari, jurnallashtirish, komm-shablonlari (sapport/sheriklar/regulyator).

Raundlar bo’yicha kompensatsiyalar/VOID: sabablar kodlari, videofidga havolalar, mas’ullar imzosi.

Ikki tomonlama nazorat bilan to’lovlarni muzlatish.

Mashqlar va tayyorgarlikni tekshirish

Game Day/Chaos Drill har oyda: AZ o’chirilishi, DD degradatsiyasi, provayderning qulashi.

Full DR Rehearsal har chorakda: DR mintaqasini «to’liq o’sishga» ko’tarish, stavkalar/to’lovlarning haqiqiy stsenariylarini haydash.

Restore-testlar: ledjerni T vaqtiga tiklash, nazorat P&L va xesh-kesmalar bilan solishtirish.

Table-top komplayens bilan: kim va kimni xabardor qiladi, qanday hisobotlar shakllantiriladi (regulyator, PSP, affiliatlar).

Kuzatish va feylover signallari

SLO-metriklar: p95 latency hamyon, ulush’bet. rejected’, settle raund vaqti, SLA to’lovlar, lag replikatsiya DB, lag Kafka-konsumerlar.

Oʻzgartirish hodisalari: «role change», «replication lag> X», «object-lock violation» alertlari.

DR dashbordlari: tugunlarning joriy roli, RPO-baholash (WAL daqiqalari), PITR-oynaning maqomi.

Xavfsizlik va komplayens

Yurisdiksiyalar bo’yicha ma’lumotlarni izolyatsiya qilish (EU/UK/CA/...): qonunlar doirasida replikatsiya qilish.

Oʻzgarmas jurnallar (S3 Object Lock/WORM), tartibga solish muddatlari boʻyicha retenshn.

Sirlar: kalitlarni almashtirish, DR operatsiyalari uchun vazifalarni ajratish (dual-control).

Barcha o’zgarishlar va tiklashlarning audit-treli.

DRni buzadigan anti-patternlar

Mamlakatda bitta PSP/bitta stablcoin tarmog’i - zaxira rels yo’q.

OLTP va OLAP bitta DBda - tiklash «jonli» operatsiyalarni bloklaydi.

idempotencyKey mavjud emas.

Muntazam restore-testsiz bekaplar - «Shrödinger bekapi».

WORM/immutability yo’qligi - insayder/zararli olib tashlashga zaiflik.

Qisqa TTL va isitilgan endpint bo’lmagan DNS fayloveri.

Bir vaqtning o’zida ikki hududda yagona ledjer yozuvchisi - vaziyatni parchalash.

Avariyaga tayyorlik chek-varaqasi

Arxitektura

Barcha tanqidiy xizmatlar uchun Multi-AZ, hujjatlashtirilgan topologiya.
Ta’riflangan rol (Active-Active/Passive) va byudjetga ega bo’lgan DR mintaqasi.

Maʼlumotlar

Postgres: PITR, snapshotlar, lag-monitoring, muntazam tiklash testlari.
Kafka/NATS: oynalash/arxiv, replay-reja.
ClickHouse/OLAP: Partiyaning orqalari, tanlashni tiklash.
S3: Object Lock (WORM), versiyalar, kross-mintaqa.

Ilovalar

Idempotency in money, append-only legger, balansni versiyalash.
Avto-feature-degrade hodisalarda (turnirlar/missiyalar off).
Hududni almashtirishdan oldin kanar tekshiruvlari.

Kassa va kripto

Usulga ikkita provayder va stabllar uchun ikkita tarmoq.
Yo’nalish va o’zgarishlar sabablari jurnali.
KYT/AML eskalatsiya bilan degrade rejimida.

Operatsiyalar

Runbooks RACI va navbatchi telefonlar bilan.
Har oyda Chaos kunlari va har chorakda Full-DR mashqlari.
Kommunikatsiya shablonlari (sapport, sheriklar, regulyator).

Kuzatish

RTO/RPO dashbordlari, DB rollari, laglar, stavkalar/to’lovlarning rad etilishi alertlari.
O’zgartirish va tiklash auditi.

iGaming ishonchliligi - bu «feylover tugmasi» emas, balki odatlar tizimi: geografik izolyatsiya, oldindan aytib bo’ladigan RTO/RPO, idempotent pullar, ko’p relsli kassa, immutable-backaplar, muntazam mashg’ulotlar va shaffof aloqa. Bunday tartib-intizom o’yinchilar va regulyatorlarning ishonchiga ko’ra yo’qotishlarsiz, «yopishgan» raundlarsiz va zarbalarsiz muvaffaqiyatsizliklarni boshdan kechirish imkonini beradi.