شکست، تکرار و برنامه های DR برای کازینو

1) اهداف کسب و کار: RTO/RPO و جریان بحرانی

RTO (چه مدت سرویس ممکن است در دسترس نباشد): ورود/نرخ/سپرده - ثانیه/دقیقه ؛ گزارش ها - ساعت ها

RPO (چقدر داده ها را می توان از دست داد): کیف پول/معاملات - ~ 0-30 ثانیه ؛ تله متری - دقیقه.

جریان بحرانی: ورود، واریز/برداشت، شرط بندی/تسویه حساب، یقه های KYC/AML، وب سایت های ارائه دهنده PSP/بازی.

2) الگوهای تحمل خطای معماری

فعال فعال (چند منطقه): هر دو منطقه ترافیک را اداره می کنند ؛ RTO/RPO کم، سازگاری پیچیده.

فعال آماده به کار: یک منطقه در عمل، دوم گرم ؛ حالت ساده تر، دقیقه RTO.

مبتنی بر سلول: جداسازی توسط «سلول ها» (بازار/نام تجاری)، حوادث محلی همه چیز را پایین نمی آورد.

Edge pie: Anycast CDN/WAF → دروازه های منطقه ای → خوشه های برنامه → DB/caches با تکرار.

3) مدیریت ترافیک و شبکه جعلی

Anycast + CDN/WAF: جذب L3/4/7، بررسی سلامت برای منشاء.

DNS-feilover (TTL کم، چند ارزش)، مدیر ترافیک/GSLB در معیارهای سلامت.

اعلامیه BGP از طریق ارائه دهنده ضد DDoS برای تغییر مسیر سریع.

بررسی سلامت (به عنوان مثال از منطق):

اگر p95_latency>threshold        5xx_rate>threshold        synthetic_login_fail:
تخلیه (region_A) ؛ shift (ترافیک-> منطقه _ B، سطح شیب دار = 5min)

4) داده ها: کیف پول، سفارشات، شرط ها

منبع حقیقت، دفتر کل است: فقط با «operation _ id» اضافه کنید.

آشتی: مشاغل آشتی دوره ای بین دفتر، PSP و ارائه دهندگان بازی.

ضد دو برابر: کلید idemotency برای سپرده/سوسیس/پرداخت ؛ deduplication به صندوق خروجی/صندوق ورودی.

5) تکرار پایگاه داده - گزینه ها و مبادلات

همزمان فیزیکی (نیمه همگام): حداقل RPO، خطر تاخیر - اعمال نقطه (کیف پول).

ناهمزمان: عملکرد بالاتر/سادگی، RPO ثانیه دقیقه - برای ابرداده بازی، کتاب مرجع.

Logical (CDC → stream to another region): انتخاب انعطاف پذیر، مناسب برای موتورهای متقابل و تجزیه و تحلیل.

حافظه های پنهان (Redis/Memcached): نه به عنوان منبع حقیقت ؛ replica/snapshots، شروع می شود گرم.

PITR: سیاهههای مربوط مداوم (WAL/redo) به ذخیره سازی خارج از سایت، پنجره بازیابی ≥ 7-30 روز.

6) سازگاری و الگوهای آشتی

Saga + Outbox: معاملات تجاری به عنوان زنجیره ای از مراحل، انتشار رویدادها به صورت اتمی با نوشتن به پایگاه داده.

دقیقا یک بار «در معنی»: بی نظمی عملیات، کنترل نسخه های تعادل (قفل خوش بینانه).

سازگاری نهایی در جریان غیر کلیدی (هیئت مدیره رهبر، تجزیه و تحلیل) ؛ قوی برای پول

7) قطعات و feilover آنها

API/باطن

ظروف Statles، autoscale، آبی سبز/قناری ؛ پیکربندی از طریق ذخیره سازی (با نسخه).

صف/جریان

خوشه های Quorum (N = 3/5)، متقابل AZ ماکت ؛ سیاست های redo و صف های dlt.

کیف پول DB

Primari در منطقه A، کپی همگام در A (دیگر AZ)، ناهمزمان در منطقه B ؛ ترویج خودکار با تقسیم مغز ممنوع است - فقط دستی/اسکریپت با چک لیست.

پرونده ها/مصنوعات CUS

ذخیره سازی شی با نسخه، کپی متقابل منطقه ای/CRR، کلید در KMS.

WebSocket/زمان واقعی

Sharding توسط کلید (جدول/بازی/بازار)، چسبنده مسیریابی ؛ با یک feiler - اشتراک مجدد با یک نشانه مجدد.

8) پرداخت و ارائه دهندگان بازی: بسیاری از منابع حقیقت

PSP-feilover: حداقل 2 ارائه دهنده برای هر روش (کارت، کیف پول، رمزنگاری).

مسیریابی درصد توسط SLA/ارزش/banlists BIN ؛ غیرفعال کردن PSP تخریب شده توسط قطع کننده مدار اتوماتیک.

ارائه دهندگان بازی: کانال های پشتیبان/ASN اجازه لیست، کلید های فردی به مناطق، انزوا از وقفه.

9) وبهوک و سوسیس: پذیرش پایدار و تولید مثل

Inbox-pattern: ما webhook را میپذیریم → امضا را بررسی کنید/NMAS → نوشتن در immutable-inbox → پردازش کارگر idemotently.

Retrays of providers: backoff + dedup by 'event _ id '/' signature'.

در DR: پخش از صندوق با کنترل سفارش (txn → حل و فصل).

10) پشتیبان گیری: 3-2-1 استراتژی و بازیابی چک

3 کپی/2 رسانه/1 خارج از سایت (و 1 آفلاین/WORM برای مجلات انتقادی).

برنامه ها: عکس های فوری روزانه + مجلات دائمی ؛ تست هفتگی بازگرداندن به «تاریک» ایستاده است.

دایرکتوری های بازیابی: «چگونه کیف پول خود را در زمان Δ افزایش دهید».

11) برنامه DR: نقش ها، سناریوها، ارتباطات

Роли: فرمانده حادثه، Comms، DB سرب، سرب برنامه، پرداخت/بازی PM، SRE Oncall.

کانال های: اتاق جنگ, صفحه وضعیت, قالب پیام برای پشتیبانی/همکاران/وابسته.

سناریو (حداقل):

• از دست دادن AZ، از دست دادن منطقه، عدم دسترسی PSP، افت خوشه پایگاه داده، تخریب ارائه دهنده بازی، نشت کلید، عظیم 5xx.

12) نمونه ای از ماتریس سناریو DR

13) Runbook و اتوماسیون

دکمه «DR-cutover»: دنباله ای از مراحل با اعتبار سنجی (یخ می نویسد → مخازن گرم → ترافیک رمپ).

اسکریپت بررسی یکپارچگی: آشتی از مقدار دفتر/کیف پول, ثبات تعادل.

ویژگی پرچم: به سرعت غیر فعال کردن گزارش/صادرات/داشبورد سنگین در طول یک تصادف.

14) قابل مشاهده برای یک feilover

معیارهای SLO به عنوان محرک: ورود، سپرده، شرط، راه اندازی بازی.

Технические: replication-lag, WAL-shipping, queue-lag, 5xx, p95, SYN backlog, WebSocket قطع می شود.

سناریوهای مصنوعی از مناطق دیگر: ورود/واریز/شرط هر دقیقه.

آثار پایان به پایان, 'منطقه', 'PSP', 'game _ provider' برچسب ها.

15) هرج و مرج/تمرینات DR

GameDay سه ماهه: قطع AZ، تخریب PSP، «از دست دادن» گره پایگاه داده، توقف صف.

گذشته نگر: زمان تصمیم گیری، هشدارهای از دست رفته، سر و صدا، تنگناها.

تنظیم RTO/RPO و اتوماسیون بر اساس حقایق، نه «احساسات».

16) ایمنی و انطباق

کلید/اسرار در KMS/HSM (متقابل منطقه ای)، چرخش و کنترل دوگانه.

WORM/ایمنی برای گزارش حسابرسی و معاملات.

قراردادهای DPA/PSP/ارائه دهنده برای تعهدات SLA/DR و 24 × 7 نقاط تماس.

17) مثال سیاست حداقل Feilover (شبه کد)

در حادثه (نوع = «REGION _ DOWN»):
freeze_non_critical_writes ()
promote_db (منطقه = B)
verify_ledger_consistency ()
warm_caches (منطقه = B)
route_traffic (منطقه = B، سطح شیب دار = 10٪)
برای گام در [25٪، 50٪، 100٪]:
اگر SLO_green (): سطح شیب دار (مرحله) دیگری برگشت ()
announce_statuspage ()

18) تولید لیست آماده

• تعریف RTO/RPO در هر جریان ؛ توسط کسب و کار پذیرفته شده است.
• حداقل چند AZ ؛ چند منطقه برای کیف پول، ورود و پرداخت.
• لجر + idempotency (کلید) + صندوق پستی/صندوق ؛ هماهنگی در یک برنامه
• تکرار پایگاه داده: همگام سازی محلی، async در DR ؛ PITR فعال, بازگرداندن بررسی.
• دو PSP در هر روش، سیاست مسیریابی و کلید های تست ؛ ارائه دهندگان بازی جایگزین هستند.
• DNS/GSLB/Anycast، بررسی های بهداشتی و مصنوعی، TTL پایین.
• Runbook و دکمه DR-cutover، پرچم های ویژگی برای تخریب.
• SLO/هشدار/ردیابی ؛ پانل وضعیت DR.
• تمرینات DR سه ماهه + یکپارچهسازی با سیستمعامل ؛ به روز رسانی اطلاعات تماس 24 × 7.

---

خلاصه رزومه

یک پلت فرم iGaming قابل اعتماد در اطراف یک مدار پولی ساخته شده است: یک مجله از پست با idempotency، feiler قابل پیش بینی، تکرار قابل تایید و تمرینات منظم DR. سیستم را به سلول ها و مناطق تقسیم کنید، به طور خودکار برش دهید، دو PSP و ارائه دهندگان بازی های اضافی را نگه دارید، SLO و یکپارچگی لجر را نظارت کنید - و حتی یک حادثه بزرگ بدون از دست دادن اعتماد و پول تبدیل به یک رویداد قابل کنترل خواهد شد.