Кантип iGaming үчүн failover жана Backup иштейт

Эмне үчүн iGaming DR/BCP өзгөчө тартип

Казино платформа - бул реалдуу убакыт акча (капчык/башкаруучу), жандуу раунддар (RNG/Live), төлөмдөр, аффилиаттар жана катуу комплаенс. Жеткиликтүүлүктөгү ар кандай "тешик" тез эле финансылык жана юридикалык тобокелдиктерге айланат. Ошондуктан архитектура алдын ала калыбына айланасында курулат: белгилүү максаттар, белгилүү сценарийлер, репетицияланган процедуралар.

Негизги максаттар жана терминдер

RTO (Recovery Time Objective): калыбына келтирүү кызматы убакыт.

капчык/ledger үчүн: ≤ 60-300 сек (аймак ичиндеги feylover), ≤ 15 мин (аймак аралык DR).

RPO (Recovery Point Objective): жол берилиштерди жоготуу.

Леджер үчүн: 0-5 сек (синхрондуу/квазисинхрондук репликация), отчеттуулук үчүн: ≤ 15 мин.

SLA жана Error Budget: өзгөрүүлөрдүн ылдамдыгы менен туруктуулуктун ортосундагы компромисстерди тариздөө.

Катмарларга туруштук берүү

1) Инфраструктура: Multi-AZ/Multi-Region

Multi-AZ (кеминде 3 зоналар): бардык маанилүү кызматтар зоналар боюнча бөлүштүрүлөт, автоматтык Feylover DD/шиналар.

Multi-Region DR: "ысык" (Active-Active) же "жылуу" (Active-Passive) юрисдикция боюнча обочолонгон экинчи аймак (data residency).

Чечим, качан кандай режим:

Active-Active: эки региондогу оюнчуларга төмөн жашыруун, окуялардын синхрондоштуруу аркылуу cross-region менеджер + эсептөөлөр үчүн катуу бир "чындык орду".
Active-Passive (warm): жөнөкөй жана арзан; пассив жылуу инстанцияларды + БД репликаларын кармап турат, бирок трафик тейлебейт.

2) Тармак жана периметри

Кош ingress/WAF, Anycast же ден соолук текшерүүлөр менен DNS Feylover.

Касса жана провайдерлер үчүн өзүнчө egress-шлюздар, эки региондо тең уруксат берилген IP тизмелери.

3) Маалыматтар жана кезектер

Реляциялык DD (Postgres): Patroni/Managed HA, АЗдагы синхрондуу репликалар, DR-региондогу асинхрондук реплика (лагдарды көзөмөлдөө менен). ар бир N мүнөт + WAL Archive менен PITR.

OLAP (ClickHouse/BigQuery): реплика/шардана; жоготуу жогору жол берилет (RPO 15-30 мин чейин).

Кэш (Redis): failover менен кластер, бирок чындыктын булагы эмес; которулганда - жылуу жылытуу.

Shine Events (Kafka/NATS): күзгү кластерлер жана/же cross-cluster-mirroring, кепилдик "at-least-once", керектөөчүлөргө каршы мониторинг.

4) Тиркемелер жана домендер

Капчык/башкаруучу: катуу консистенттүүлүк менен stateful-ядро, аймакка бир "мастер-райтер"; аймактар аралык DR - кош жазууну бөгөттөө менен "elected writer" жол-жобосу.

Оюн bridge/API: stateless, ден соолук чектери боюнча горизонталдуу Feylover; idempotencyKey бардык каржылык жолдор үчүн.

Бонустар/билдирүүлөр/ETL: кечиктирилген иштетүүгө жол берет, кезектерден кайра башталат.

Касса (PSP/крипто): мультипровайдердик стратегия (өлкөгө кеминде 2 рельс), соодагерлер/эндпоинттерди тез которуу.

5) Live агымдары

аймактык edge түйүндөрү менен WebRTC/LL-HLS Gateway; WebRTC деградацияда LL-HLS үчүн fallback жолдору.

Агымды кайра баштоо эсептөөгө таасир этпеши үчүн коюмдардын логикасын ойноткучтун сыртында кармап туруу.

Failover үлгүлөрү

Актив-актив (эки региондук)

Артыкчылыктары: минималдуу RTO/RPO, оюнчуларга жакындыгы.

Кемчиликтери: Леджер татаалдыгы жана чыр-чатактар жазуу, кымбат сетка.

Practice: "доменде бир жазуучу" + кошуна аймакта шарттарды ойнотуу үчүн иш-чара sourcing.

Актив-пассив

Артыкчылыктары: баа балансы/татаалдыгы.

Минустары: RTO жогору, пассивдүү аймактын "промоушн" иштелип чыккан планы керек.

Практика: капчыкты которууда автоматика + кол менен тастыктоо (4 көздүү принцип).

Аймак ичиндеги (Multi-AZ)

Autofeilover DD/кэш/ingress.

DNS/Anycast өзгөртүү жок, RTO секунд-мүнөт.

Маалымат класстары боюнча резервдик (Backup)

Класс	Мисалдар	Метод	Жыштык	Сактоо	Верификация
Акча транзакциялары/менеджер	Postgres	Snapshot + WAL архиви (PITR), логикалык реплика	5-15 мин WAL, snapshot 1-4 саат	Object Lock (WORM) менен объект сактоо, кросс-аймак	Жумалык DR-калыбына келтирүү "муздак" + текшерүү суммасын салыштыруу
Окуялар	Kafka топиктер	Tiered storage + mirror в DR	Үзгүлтүксүз	Объект сактоо	Тесттик терезелердин репликасы
OLAP/отчеттуулук	ClickHouse/BigQuery	Snapshots/партияларды экспорттоо	1-6 саат	Объект сактоо	Контролдук үлгүлөрдү окуу
Статикалык экспонаттар	билеттер, журналдар, экспорт	S3 версиясы, Glacier	Күн сайын	WORM/версиялары	Мезгил-мезгили менен калыбына келтирүү
Сырлар/ачкычтар	KMS/HSM метадерилери	Оролгон экспорт, dual-control	График боюнча	HSM репликалары	Чечмелөө сынагы

Принциптери:

Backup тынчтык жана транзит менен шифрленген, ачкычтар - KMS/HSM.
маанилүү backaps үчүн Immutable-режими (WORM) (өчүрүү/коддоо коргоо).
Метаданалар менен backup каталогу (схеманын версиясы, WAL терезеси, контролдук суммалар).
PITR менеджер үчүн милдеттүү болуп саналат.

Маалыматтар жана боштук: Feylover "тешик" качуу үчүн кантип

IdempotencyKey 'bet. place`, `payout. request`, `cashier. webhook`.

Ledger - бир гана append-only: кайталап settle эмес, "кайра жазуу" түзөтүү жазууну түзөт.

Транзакциялык кулпулар/балансты версиялоо жазуучунун ролун алмаштырууда жарыштан коргойт.

Окуялардын дедупликациясы (consumer-side, негизги талаалар боюнча хэш).

Касса, PSP жана крипто: B планы ар дайым камтылган

Төлөм ыкмасы боюнча кеминде эки провайдер (карта/ARM), эки аймакта тең алдын ала ачылган соода эсептери.

Стейблкоиндер үчүн - эки тармак (мисалы, TRC-20 жана ERC-20) жана эки on/off-ramp провайдери.

Төлөм маршрутизатору: PSP иштебей калса, дароо резервдик которулат, себептердин журналын жүргүзөт.

KYT/AML агымдары кайталанат; тышкы кызматы жок болсо - "degraded mode" кол менен эскалация менен.

Операциялык процедуралар (Runbooks)

Автоматтык

Ден соолук чек чынжыр ingress → API → капчык → DD → провайдер.

Капчыкты бузууда "оор" функцияларды (турнирлер/миссиялар) автоматтык түрдө өчүрүү.

экспоненциалдык тыныгуу жана катуу мөөнөтү менен убакыт/Retray.

Кол менен (ырастоо менен)

DR-аймакты активге жайылтуу: кадам чеклисттери, журналдаштыруу, комм-шаблондор (саппорт/өнөктөштөр/жөнгө салуучу).

Компенсация/VOID раунддар боюнча: себептердин коддору, видеофидге шилтемелер, жоопкерчиликтүү адамдардын кол тамгасы.

Кош контролдоо менен төлөмдөрдү эритүү.

Машыгуулар жана даярдыкты текшерүү

Game Day/Chaos Drill ай сайын: АЗ өчүрүү, DD деградациясы, провайдердин кулашы.

Full DR Rehearsal чейрек сайын: DR аймакты көтөрүү "толук өсүш", реалдуу коюм/төлөмдөр жагдайлар кууп.

Калыбына келтирүү тесттер: убакыт T үчүн башкаруучу калыбына келтирүү, контролдук P&L жана хэш-кесимдер менен салыштырып.

Комплаенс менен Table-top: ким жана кимге кабарлайт, кандай отчеттор түзүлөт (жөнгө салуучу, PSP, аффилиаттар).

Байкоо жана Feylover сигналдар

SLO-метр: p95 latency капчык, үлүшү 'bet. rejected ', убакыт settle раунд, SLA төлөмдөр, БДнын репликация лаг, Kafka-консумерлер лаг.

"role change", "replication lag> X", "object-lock violation".

Dashbord DR: түйүндөрдүн учурдагы ролу, RPO-баалоо (WAL мүнөт), PITR-терезе статусу.

Коопсуздук жана комплаенс

Юрисдикциялар боюнча маалыматтарды изоляциялоо (EU/UK/CA/...): мыйзамдарда уруксат берилген чегинде репликациялоо.

Өзгөрүлбөс журналдар (S3 Object Lock/WORM), жөнгө салуу мөөнөтү боюнча retenshn.

Сырлар: ачкычтарды айлантуу, DR операциялары үчүн милдеттерди бөлүштүрүү (кош-көзөмөл).

Аудит-Trail бардык которуулар жана калыбына келтирүү.

DR сындырып каршы үлгүлөрү

Бир PSP/өлкө үчүн бир stablecoin тармагы - эч кандай запастык темир жол.

OLTP жана бир DD боюнча OLAP - калыбына келтирүү "тирүү" ишин бөгөттөйт.

Эч кандай idempotencyKey - Дебет/Retrais төлөмдөр.

Үзгүлтүксүз калыбына келтирүү тестисиз бэкаптар - "Шрёдингер бэкап".

WORM/immutability жоктугу - инсайдердик/зыяндуу алып салуу үчүн алсыздык.

DNS Feylover кыска TTL жана жылытылган EndPoints жок.

Бир эле учурда эки региондо леджердин бир жазуучусу - мамлекеттин бөлүнүшү.

Кырсыкка даярдык чек-тизмеси

Архитектура

Бардык маанилүү кызматтар үчүн Multi-AZ, документтештирилген топология.
баяндалган ролу менен DR-аймак (Active-Active/Passive) жана бюджет.

Маалыматтар

Postgres: PITR, snapshots, артта мониторинг, үзгүлтүксүз калыбына келтирүү тесттер.
Kafka/NATS: күзгү/архив, реплика-план.
ClickHouse/OLAP: партиялык backaps, тандоо калыбына келтирүү.
S3: Object Lock (WORM), версия, кросс-аймак.

Тиркемелер

акча Idempotency, append-only башкаруучу, балансты чыгаруу.
Окуя болгон учурда Auto-feature-degrade (турнирлер/миссиялар).
Аймакты которуу алдында канарейка текшерүү.

Касса жана крипта

ыкмасы боюнча эки жөнөтүүчүлөр жана эки тармак үчүн Stables.
Багыттоо жана өзгөртүү себептерин журналы.
KYT/AML эскалация менен degrade режиминде.

Операциялар

RACI жана телефон нөөмөтчүлөр менен Runbooks.
Ай сайын Chaos-күн жана чейректик Full-DR көнүгүүлөр.
Байланыш шаблондору (саппорт, өнөктөштөр, жөнгө салуучу).

Байкоо

Dashboard RTO/RPO, DD ролун алерттери, лагдар, коюмдарды/төлөмдөрдү аткарбоо.
Аудит журналы которуу жана калыбына келтирүү.

iGaming - бул "Feylover баскычы" эмес, адаттар системасы: географиялык обочолонуу, болжолдонгон RTO/RPO, демпотенттик акча, көп рельстүү касса, immutable-backup, үзгүлтүксүз машыгуулар жана ачык-айкын байланыш. Мындай тартип оюнчулардын жана жөнгө салуучулардын ишеними боюнча эч кандай сокку жок, "жабышып" тегерек жок, Леджер жоготуусуз ийгиликсиздиктерди баштоого мүмкүндүк берет.