Αποτυχία, αντιγραφή και σχέδια DR για καζίνο

1) Επιχειρηματικοί στόχοι: RTO/RPO και κρίσιμη ροή

RTO (για πόσο χρονικό διάστημα η υπηρεσία μπορεί να μην είναι διαθέσιμη): σύνδεση/τιμή/κατάθεση - δευτερόλεπτα/λεπτά· αναφορές - ώρες.

RPO (πόσα δεδομένα μπορούν να χαθούν): πορτοφόλι/συναλλαγές - ~ 0-30 δευτερόλεπτα; τηλεμετρία - λεπτά.

Κρίσιμη ροή: σύνδεση, κατάθεση/απόσυρση, στοίχημα/διακανονισμός, KYC/AML-κολάρα, PSP/πάροχος παιχνιδιών webhooks.

2) Αρχιτεκτονικά πρότυπα ανοχής βλάβης

Ενεργός (πολυπεριφέρεια): αμφότερες οι περιφέρειες διαχειρίζονται την κυκλοφορία. χαμηλή RTO/RPO, πολύπλοκη συνέπεια.

Ενεργός επιφυλακή: μία περιοχή σε λειτουργία, η δεύτερη θερμή· ευκολότερη κατάσταση, πρακτικά RTO.

Με βάση τα κύτταρα: απομόνωση από «κύτταρα» (αγορά/εμπορικό σήμα), τα τοπικά περιστατικά δεν μειώνουν τα πάντα.

Edge pie: Anycast CDN/WAF → περιφερειακές πύλες → ομάδες εφαρμογών → DB/κρύπτες με αναπαραγωγή.

3) Διαχείριση της κυκλοφορίας και πλαστογραφία δικτύου

Anycast + CDN/WAF: πρόσληψη L3/4/7, έλεγχος υγείας για την καταγωγή.

DNS-feilover (χαμηλή TTL, πολλαπλών τιμών), Traffic Manager/GSLB σχετικά με τις μετρήσεις υγείας.

Ανακοίνωση του BGP μέσω παρόχου αντι-DDoS για αλλαγή ταχείας διαδρομής.

Έλεγχος υγείας (παράδειγμα λογικής):


εάν p95_latency>threshold        5xx_rate>threshold        :
αποστράγγιση (region_A)· μετατόπιση (traffic-> region _ B, ramp = 5min)

4) Στοιχεία: πορτοφόλι, παραγγελίες, στοιχήματα

Η πηγή της αλήθειας είναι το βιβλίο: append μόνο, idempotence by 'operation _ id'.

Συμφιλίωση: εργασίες περιοδικής συμφιλίωσης μεταξύ λογιστικού βιβλίου, PSP και παρόχων παιχνιδιών.

Αντι-διπλή: κλείδες ταυτότητας για καταθέσεις/λουκάνικα/πληρωμές. αφαίρεση προς τα έξω/εισερχόμενα.

5) Αντιγραφή βάσεων δεδομένων - Επιλογές και συναλλαγές

Φυσική συγχρονισμένη (ημι-συγχρονισμένη): ελάχιστη RPO, κίνδυνος καθυστερήσεων - εφαρμογή pointwise (πορτοφόλι).

Ασύγχρονη: υψηλότερη απόδοση/απλότητα, δευτερόλεπτα RPO - για μεταδεδομένα παιχνιδιών, βιβλία αναφοράς.

Λογικό (CDC → stream σε άλλη περιοχή): ευέλικτη επιλεκτικότητα, βολικό για διασταυρούμενους κινητήρες και αναλυτική.

Caches (Redis/Memcached): όχι ως πηγή αλήθειας. αντίγραφα/στιγμιότυπα, θερμές εκκινήσεις.

PITR: συνεχείς καταγραφές (WAL/redo) για την αποθήκευση εκτός εγκαταστάσεων, παράθυρο ανάκτησης ≥ 7-30 ημερών.

6) Πρότυπα συνοχής και συμφιλίωσης

Saga + Outbox: οι επιχειρηματικές συναλλαγές ως αλυσίδα βημάτων, δημοσιεύοντας ατομικά εκδηλώσεις με τη συγγραφή στη βάση δεδομένων.

Ακριβώς μία φορά «κατά την έννοια»: ιδιαιτερότητα των πράξεων, έλεγχος των εκδόσεων ισορροπίας (αισιόδοξο κλείδωμα).

Ενδεχόμενη συνέπεια στη ροή μη κλειδιών (πλακέτα επικεφαλής, αναλυτική). ισχυρή για τα χρήματα.

7) Συστατικά μέρη και το feilover τους

API/backend

Εμπορευματοκιβώτια, αυτοκλίμακας, γαλάζιο-πράσινο/καναρίνι. ρυθμίζει μέσω αποθήκευσης (με έκδοση).

Ουρές/Ρεύματα

Συστάδες απαρτίας (N = 3/5), αντίγραφο cross-AZ. εκ νέου πολιτικές και ουρές αναμονής.

ΔΒ πορτοφολιού

Primari στην περιοχή Α, συγχρονισμένο αντίγραφο σε A (άλλο AZ), ασύγχρονο στην περιοχή Β· η αυτόματη προώθηση με διαχωρισμό εγκεφάλου απαγορεύεται - μόνο χειροκίνητο/σενάριο με κατάλογο σημείων ελέγχου.

Αρχεία/Τεχνουργήματα CUS

Αποθήκευση αντικειμένου με έκδοση, διαπεριφερειακό αντίγραφο/CRR, κλειδιά στο KMS.

WebSocket/real-time

Στρέβλωση κατά κλειδιά (επιτραπέζια/θηράματα/αγορά), στιβαρή δρομολόγηση· με ένα feiler - επανυποβολή με ένα δείγμα επαναπροώθησης.

8) Πληρωμές και πάροχοι παιχνιδιών: Πολλές πηγές αλήθειας

PSP-feilover: τουλάχιστον 2 πάροχοι για κάθε μέθοδο (κάρτα, πορτοφόλια, κρυπτογράφηση).

Ποσοστό δρομολόγησης από SLA/value/banlists BIN· απενεργοποίηση του υποβαθμισμένου PSP από τον αυτόματο διακόπτη κυκλώματος.

Πάροχοι παιχνιδιών: εφεδρικά κανάλια/λίστα αδειών ASN, μεμονωμένα κλειδιά για περιοχές, απομόνωση χρονοδιαγραμμάτων.

9) Webhooks και λουκάνικα: βιώσιμη υποδοχή και αναπαραγωγή

Inbox-μοτίβο: αποδεχόμαστε το webhook → ελέγξτε την υπογραφή/NMAS → γράψτε σε αμετάβλητο-inbox → επεξεργαστείτε τον εργαζόμενο ταυτοχρόνως.

Retrays των παρόχων: backoff + dedup by 'event _ id '/' signature'.

Στην DR: επανάληψη από τα εισερχόμενα με έλεγχο παραγγελίας (txn → διακανονισμός).

10) Αντίγραφα ασφαλείας: στρατηγική 3-2-1 και έλεγχοι ανάκτησης

3 αντίγραφα/2 media/1 offsite (και 1 offline/WORM για κρίσιμα περιοδικά).

ημερήσια στιγμιότυπα + μόνιμα περιοδικά· εβδομαδιαία επαναφορά της δοκιμής στο «σκοτεινό» περίπτερο.

Κατάλογοι ανάκτησης: «πώς να σηκώσετε το πορτοφόλι σας τη στιγμή του t- Δ».

11) Σχέδιο DR: ρόλοι, σενάρια, επικοινωνίες

: Incident Commander, Comms, DB Lead, App Lead, Πληρωμές/Game PM, SRE Oncall.

Δίαυλοι: αίθουσα πολέμου, σελίδα κατάστασης, υποδείγματα μηνυμάτων για υποστήριξη/συνεργάτες/θυγατρικές.

Σενάρια (ελάχιστα):

Απώλεια AZ, απώλεια περιοχής, μη διαθεσιμότητα PSP, πτώση συστάδων βάσεων δεδομένων, υποβάθμιση παρόχου παιχνιδιών, διαρροή κλειδιών, μαζική 5xx.

12) Παράδειγμα πίνακα σεναρίου DR

Σενάριο	Ανίχνευση	Δράσεις	RTO	RPO	Κριτήριο απόδοσης
Η περιοχή Α δεν είναι διαθέσιμη	Συνθετικά + GSLB	Μετατόπιση κίνησης σε B, προώθηση βάσης δεδομένων, απενεργοποίηση βαρέων χαρακτηριστικών	10-20 λεπτά	sec	p95 OK, 5xx <0. 5%
υποβάθμιση	Σφάλματα 3DS/timeout	Μετάβαση σε PSP-2, ενεργοποίηση ορίων	2-5 λεπτά	0	Ποσοστό επιτυχίας> 99%
Αποτυχία βάσης δεδομένων πορτοφολιού	Υστέρηση καρδιακού παλμού/αντιγραφής	Προώθηση επιφυλακής, επαλήθευση βιβλίων, ενεργοποίηση ακίδων	5-10 λεπτά	sec	Ledger = OK
Υστέρηση παρόχου παιχνιδιών	RTT/χρόνος έναρξης λειτουργίας	Αλλαγή κίνησης σε εναλλακτικά γραφεία/πάροχο	1-3 λεπτά	0	TTFS <800 ms

13) Runbook 's and Automation

Κουμπί «DR-cutover»: ακολουθία βημάτων με επικύρωση (το πάγωμα γράφει → προωθεί → θερμές κρυψώνες → κίνηση διαδρόμου).

Έλεγχος ακεραιότητας σενάρια: αντιστοίχιση των ποσών βιβλίων/πορτοφολιών, συνέπεια ισορροπίας.

Σημαίες: γρήγορα απενεργοποιούνται οι αναφορές/εξαγωγές/βαρέα ταμπλό κατά τη διάρκεια ατυχήματος.

14) Παρατηρησιμότητα για feilover

Μετρήσεις SLO ως σκανδάλες: σύνδεση, κατάθεση, στοίχημα, έναρξη παιχνιδιού.

: replication-lag, WAL-shipping, queue-lag, 5xx, p95, SYN backlog, WebSocket αποσυνδέεται.

Συνθετικά σενάρια από άλλες περιοχές: σύνδεση/κατάθεση/στοίχημα κάθε λεπτό.

Tend-to-end traces, 'region', 'psp', 'game _ provider' tags.

15) Ασκήσεις χάους/DR

Τριμηνιαία GameDay: αποσύνδεση του AZ, υποβάθμιση του PSP, «απώλεια» του κόμβου βάσης δεδομένων, στάση αναμονής.

Αναδρομική: χρόνος λήψης αποφάσεων, ελλείποντα σήματα, θόρυβος, σημεία συμφόρησης.

Προσαρμογή RTO/RPO και αυτοματοποίηση με βάση γεγονότα, όχι «αισθήσεις».

16) Ασφάλεια και συμμόρφωση

Κλειδιά/μυστικά σε KMS/HSM (διαπεριφερειακά), περιστροφή και διπλός έλεγχος.

WORM/ασυλία για τα αρχεία καταγραφής ελέγχων και συναλλαγών.

Συμβάσεις DPA/PSP/παρόχου υπηρεσιών για δεσμεύσεις SLA/DR και 24 × 7 σημεία επαφής.

17) Παράδειγμα ελάχιστης πολιτικής Feilover (ψευδοκώδικας)


για περιστατικό (τύπος = «REGION _ DOWN»):
()
(περιφέρεια = Β)
()
(περιφέρεια = Β)
(περιοχή = Β, ράμπα = 10%)
για κλιμάκιο σε [25%, 50%, 100%]:
εάν SLO_green (): κεκλιμένη (βαθμιδωτή) άλλη ανατροπή ()
()

18) Έτοιμος κατάλογος ελέγχου

Καθορισμός RTO/RPO ανά ροή. γίνονται δεκτές από τις επιχειρήσεις.
Ελάχιστο πολλαπλών AZ· Πολυπεριφέρεια για πορτοφόλι, σύνδεση και πληρωμές.
Ledger + idempotency (πλήκτρα) + outbox/inbox; συμφιλίωση βάσει χρονοδιαγράμματος.
Αντιγραφή βάσης δεδομένων: συγχρονισμός τοπικά, async σε DR. Ενεργοποιημένο PITR, επαναφορά
Δύο πάροχοι ΥΠ ανά μέθοδο, πολιτική δρομολόγησης και κλειδιά δοκιμών. οι πάροχοι παιχνιδιών είναι εναλλακτικές λύσεις.
DNS/GSLB/Anycast, υγειονομικοί έλεγχοι και συνθετικά, χαμηλό TTL.
Runbook και DR-cutover κουμπί, σημαίες χαρακτηριστικών για υποβάθμιση.
SLO/καταχωρίσεις/ιχνηλάτηση· Επιτροπή κατάστασης DR.
Τριμηνιαίες ασκήσεις DR + ρετρό. επικαιροποιημένες επαφές 24 × 7.

Επανάληψη σύνοψης

Μια αξιόπιστη πλατφόρμα iGaming είναι χτισμένη γύρω από ένα νομισματικό κύκλωμα: ένα περιοδικό με δημοσιεύσεις με ιδιοτέλεια, ένα προβλέψιμο πηνίο, επαληθεύσιμη αντιγραφή και τακτικές ασκήσεις DR. Διαίρεση του συστήματος σε κελιά και περιφέρειες, αυτόματη περικοπή, διατήρηση δύο παρόχων υπηρεσιών πληρωμών και εφεδρικών παιχνιδιών, παρακολούθηση της ακεραιότητας SLO και βιβλίων - ακόμη και ένα μεγάλο ατύχημα θα γίνει ένα διαχειρίσιμο γεγονός χωρίς απώλεια εμπιστοσύνης και χρημάτων.