Casino үчүн Failover, репликация жана DR пландары

1) Бизнес максаттары: RTO/RPO жана маанилүү Flow

RTO (канча убакыт кызмат жеткиликтүү болушу мүмкүн): Логин/коюм/аманат - секунд/мүнөт; отчеттор - саат.

RPO (канча маалыматтарды жоготууга болот): капчык/бүтүмдөр - ~ 0-30 сек; телеметрия - мүнөт.

Критикалык Flow: Логин, депозиттик/чыгаруу, коюм/орнотуу, KYC/AML-колбэки, PSP/оюн провайдерлери.

2) архитектуралык үлгүлөрү каршылык

Active-Active (multi-аймак): эки аймак жол иштетет; төмөн RTO/RPO, татаал туруктуулук.

Active-Standby: иштеген бир аймак, экинчи ысык; жөнөкөй абалы, RTO мүнөт.

Cell-based: "клеткалар" боюнча обочолонуу (market/brand), жергиликтүү окуялар баарын жок.

Edge-пирог: Anycast CDN/WAF → аймактык шлюздар → app-кластерлер → репликация менен DD/кэш.

3) Traffic Management жана Network Feylover

Anycast + CDN/WAF: L3/4/7 сиңирүү, origin ден соолук чек.

DNS Feylover (төмөн TTL, multi-value), Traffic Manager/GSLB ден соолук көрсөткүчтөрү боюнча.

BGP-жарыя тез жол өзгөртүү үчүн анти-DDoS жөнөтүүчү аркылуу.

Ден соолук чек (логиканын мисалы):

if p95_latency>threshold          5xx_rate>threshold          synthetic_login_fail:
drain(region_A); shift(traffic->region_B, ramp=5min)

4) Маалыматтар: капчык, буйрутмалар, чендер

Чындыктын булагы - өткөргүч журналы (ledger): append гана, 'operation _ id' демпотенттиги.

макулдашуу: ledger, PSP жана оюн провайдерлеринин ортосунда мезгил-мезгили менен reconciliation Jobs.

Анти-Double: idempotency-депозиттер/колбэк/төлөмдөр үчүн ачкычтар; outbox/inbox.

5) БДнын репликациясы: варианттар жана компромисстер

Физикалык синхрондуу (semi-sync): минималдуу RPO, кечигүү коркунучу - чекитке колдонуу (капчык).

Асинхрондук: жогорку аткаруу/жөнөкөйлүк, RPO секунд-мүнөт - астында оюн мета-маалыматтар, колдонмолор.

Логикалык (CDC → башка аймакка агымы): ийкемдүү тандалмалуулук, кайчылаш кыймылдаткычтар жана аналитика үчүн ыңгайлуу.

Кэши (Redis/Memcached): чындыктын булагы катары эмес; реплика/снапшоттор, жылуу старттар.

PITR: үзгүлтүксүз журналдар (WAL/redo) Offsite сактоо, калыбына келтирүү терезе ≥ 7-30 күн.

6) Консистенттүүлүк жана макулдашуу үлгүлөрү

Saga + Outbox: кадам чынжыр катары бизнес бүтүмдөр, DD жазуу менен атомдук окуяларды жарыялоо.

Exactly-once "мааниси боюнча": операциялардын демпотенттүүлүгү, баланстын версияларын көзөмөлдөө (optimistic locking).

Eventual consistency ачкычсыз флоуда (лидборд, аналитика); акча үчүн strong.

7) компоненттери жана алардын Feylover

API/Backend

Statles контейнерлер, автоскейлер, blue-green/canary; сактоо аркылуу конфиги (версиялоо менен).

Кезектер/агымдар

Кворум-кластерлер (N = 3/5), кросс-AZ реплика; кайталоо жана dlt-кезек саясаты.

BD капчык

Region A, A синхрондуу реплика (башка AZ), асинхрондук - Region B; split-brain автоматтык promote тыюу салынат - чек барагы менен гана кол/скрипт.

Файлдар/CUS артефакттары

Version менен объект сактоо, cross-аймактык реплика/CRR, KMS ачкычтар.

WebSocket/Real-time

ачкычтар боюнча шардинг (table/game/market), sticky-routing; Feylover менен - rejoin-токен менен resubscribe.

8) Төлөмдөр жана оюн провайдерлери: чындыктын көптөгөн булактары

PSP-Failover: ар бир ыкма боюнча 2 провайдерлер (карта, капчык, крипто).

SLA/наркы/BIN банлисттери боюнча пайыздык роутинг; бузулган PSP автоматтык өчүрүү.

Оюн провайдерлери: резервдик каналдар/ASN allow-list, региондорго өзүнчө ачкычтар, тайм-аутторду изоляциялоо.

9) Webhuke жана колбэки: туруктуу кабыл алуу жана ойнотуу

Inbox-үлгү: Биз Webhook → колтамгасын текшерүү/NMAS → жазуу immutable-inbox → imempotent воркер менен мамиле.

Ретраи провайдерлер: backoff + дедуп 'event _ id '/' signature'.

DR менен: тартипти көзөмөлдөө менен inbox реплика (txn → settlement).

10) Backup: стратегия 3-2-1 жана калыбына келтирүү текшерүү

3 көчүрмөлөрү/2 медиа/1 offsite (жана 1 - маанилүү журналдар үчүн offline/WORM).

Тартиби: күнүмдүк snapshots + туруктуу журналдар; жума сайын "караңгы" стенд боюнча сыноо-калыбына келтирүү.

Калыбына келтирүү каталогдору: "капчыкты кантип көтөрүү керек t- Δ".

11) DR-план: ролдору, жагдайлар, байланыш

Роли: Incident Commander, Comms, DB Lead, App Lead, Payments/Game PM, SRE Oncall.

Каналдар: war-room, статус-бет, саппортко/өнөктөштөргө/аффилиаттарга билдирүүлөрдүн шаблондору.

Сценарийлер (минимум):

• АЗ жоготуу, аймакты жоготуу, PSP жеткиликсиздиги, DD кластеринин кулашы, оюн провайдеринин деградациясы, ачкычтардын ачылышы, массалык 5xx.

12) Мисал DR-Script Matrix

13) Runbook жана автоматташтыруу

"DR-cutover" баскычы: валидация менен кадамдардын ырааттуулугу (freeze writes → promote → warm caches → ramp traffic).

Бүтүндүгүн текшерүү скрипттери: ledger/капчык боюнча сумманы салыштыруу, баланстын ырааттуулугу.

Feature-flags: тез disable отчеттор/экспорттор/оор дашборд кырсык учурунда.

14) Feylover үчүн байкоо

SLO-метриктер сыяктуу триггерлер: логин, депозиттик, коюм, оюнду баштоо.

Технические: replication-lag, WAL-shipping, queue-lag, 5xx, p95, SYN backlog, WebSocket disconnects.

башка аймактардан Synthetic жагдайлар: ар бир мүнөт логин/депозиттик/коюм.

end-to-end тректери, 'region', 'psp', 'game _ provider'.

15) Chaos/DR-машыгуу

GameDay чейрек сайын: АЗ өчүрүү, PSP деградациясы, DD түйүнүн "жоготуу", кезек токтотуу.

Ретроспектива: чечим кабыл алуу убактысы, жетишпеген кооптонуулар, ызы-чуу, тар жерлер.

RTO/RPO жана автоматташтырууну "сезимдерге" эмес, фактылардын негизинде тууралоо.

16) Коопсуздук жана комплаенс

KMS/HSM (кросс-аймактык), айлануу жана эки-контролдоо баскычтары/сырлары.

аудит журналдар жана бүтүмдөр үчүн WORM/immutability.

DPA/SLA/DR милдеттенмелери жана байланыш пункттары боюнча PSP/провайдерлер менен келишимдер 24 × 7.

17) Минималдуу фейловер саясатынын мисалы (псевдокод)

on Incident(type="REGION_DOWN"):
freeze_non_critical_writes()
promote_db(region=B)
verify_ledger_consistency()
warm_caches(region=B)
route_traffic(region=B, ramp=10%)
for step in [25%, 50%, 100%]:
if SLO_green(): ramp(step) else rollback()
announce_statuspage()

18) Чек даярдыгы (prod-ready)

• Аныкталган RTO/RPO ар бир Flow үчүн; бизнес тарабынан кабыл алынган.
• Multi-AZ минималдуу; капчык, логин жана төлөмдөр үчүн Multi-аймак.
• Ledger + боштук (keys) + outbox/inbox; reconciliation тартиби боюнча.
• DD Replication: жергиликтүү sync, DR боюнча async; PITR киргизилген, калыбына келтирүү текшерилген.
• ыкмасы боюнча эки PSP, роутинг саясаты жана сыноо ачкычтары; оюн провайдерлери - альтернатива.
• DNS/GSLB/Anycast, ден соолук чектери жана синтетика, төмөн TTL.
• Runbook 'жана "DR-cutover баскычы", деградация үчүн feature-flags.
• SLO/Алерт/соода; "DR-статус" панели.
• Чейректик DR-машыгуу + ретро; жаңыланган байланыштар 24 × 7.

---

Резюме

Ишенимдүү iGaming платформасы акча контурунун айланасында курулат: демпотенттүүлүк менен өткөргүчтөр журналы, алдын ала айтууга боло турган фейловер, текшерилүүчү репликация жана үзгүлтүксүз DR машыгуулары. Системаны клеткаларга жана аймактарга бөлүңүз, cutover автоматташтырыңыз, эки PSP жана резервдик оюн провайдерлерин кармап туруңуз, SLOну жана ledger бүтүндүгүн көзөмөлдөп туруңуз - ал тургай чоң кырсык ишенимди жана акчаны жоготпостон башкарылуучу иш-чара болуп калат.