איך לבנות אל-כשל עיבוד של מיליוני עסקאות ביום

מאמר מלא

💡 חומר טכני למוצר ופלטפורמה צוותים של פינטק/משחקים ותעשיות קשורות. לא שיחה לשחק. ב ”עסקאות” אנו מתכוונים לעסקאות כספיות/חשבונאיות (חיוב, זיכוי, העברה, הסדר, החזר).

1) מה המשמעות של אל-כשל בעסקאות

כשל הוא כאשר כל מצב כושל מוביל או עצירה בטוחה או מדינה מפוצה מבלי להפסיד כסף ונתונים. מטרות:

”חיובים כפולים/קרדיטים” = 0.
עסקאות/אירועים אבודים = 0.
SLO צפוי על ידי Latency/Liverse, מצבי השפלה ברורים וד "ר

בסיס - אינווריאנטים כספיים (איזון אמיתי במקום אחד), אידמפוטנטיות, מסירה מוסכמת של אירועים.

2) עקרונות אדריכליים (קצר)

1. מקור אחד של אמת: מאזן גיליון וחשבונאות - בדג 'ר/ארנק. שירותים מסביב מחזיקים במצב של תהליכים, לא כסף.

2. אידמפוטנטיות בכל מקום: כל פעולות ”לכתוב” לקחת 'Idempotency-Key'; חוזר חוזר אותה תוצאה.

3. אירוע עם ערבות משלוח: תיבת יוצא/CDC, תורים, DLQ, מת.

4. סאגות ופיצויים, לא ”עריכה ידנית”.

5. לחץ אחורי וסדרי עדיפויות: המערכת מאטה, אבל לא קורסת.

6. תצפית ברירת מחדל: יומנים מובנים, איתור, מדדים.

7. רב-אזור וד "ר: נכס-נכס/אחריות-נכס, פעילות גופנית רגילה.

3) טופולוגיית התייחסות


Edge/API GW ──Command API ──App Service (סאגס)
│           │
│ (Outbox TX)

הגבלת שולחן מחוץ לתיבה ──Publisher ──Kafka/Pulsar ──Consumers
│                      │
WAF └─DLQ/Replay
│
└─Ledger/Wallet (חומצה, חיוב/אשראי)
│
└─CDC/Changefeed ──DWH/BI/Recon

מקומות מפתח: Outebox (שיא אטומי של צוות ו ”טיוטה” של אירוע), Publisher (בדיוק משלוח אחד), Changers (אידמפוטנט, עם מפתח dedup), DLQ/Replay (חזרות מבוקרות).

4) השקעים כספיים ועקביות

נכון על ־ ידי איזון - לדג "ר (חומצה, עסקאות סריאליזציה או הזמנה קפדנית על ־ פי חשבון).

פקודות כספיות: ”חיוב”, ”אשראי”, ”להחזיק”, ”להתחייב”, ”rollback” הם אידיוטים.

תהליכים משולבים בנויים כמו סאגות:

'Euthory' ליישב אשראי ',' Extreme 'excription' expressed/lissed ',' החזר/ריק '.
אין יריעת איזון ישירה שעוקפת את לדג 'ר.

5) אידמפוטנטיות: עיצוב מפתח

המפתח חייב לזהות באופן ייחודי את העסקה העסקית:

'bet _ id + כמות + מטבע', 'תשלום _ כוונה + לכידה _ id', 'payout _ id',' chain _ txid'.
לאחסן את התוצאה על ידי מפתח (מטמון תגובה). חזור עם אותו מפתח = אותו מצב גוף/מצב.
צג חוסר התאמה - אותו מפתח עם כמות שונה ”IDEMPOTENCY _ MISMATCH”.

6) תורים, סדר ומתים

אפקטים של פעם אחת בדיוק מושגים לא על ידי תחבורה, אלא על ידי אחסון דדופ (LRU/Redis/DB c TTL).

שמור את סדר המפתחות (מפתח מחיצה = "חשבון _ id/סיבוב _ id/player _ id').

עבור מפתחות ”הטרוגניים” - מכונת מצב לישות.

DLQ הוא חובה: לאחר N ניסיונות - לתוך נושא מבודד עם סיבה קריאת אדם.

7, למה האירועים לא הולכים לאיבוד?

במסגרת של עסקה אחת, אנחנו מקליטים גם שינוי עסקי וגם כניסה החוצה במאגר המידע של השירות.

מוציא לאור נפרד קורא את התיבה ומפרסם אותה לאוטובוס האישור.

לחלופין, CDC (Change Data Capture) ברמת בסיס הנתונים (רישום דבזיום/שכפול).

אין ”יומני אירוע” בעבר העסקה הם מקור לאובדן.

8) לחץ אחורי וסדרי עדיפויות

דלי טוקן ומכסות קלט (לכל דייר/מותג/אזור).

תורים בעדיפות: נתיבי כסף מעל פרומו/טלמטריה.

כאשר עומס יתר: מצבי 'אין הפעלות/בקשות חדשות', הקפאת תכונות משניות, שמירת הליבה.

השפלה אוטומטית: לחתוך את התדירות של משימות רקע, באופן דינמי להרחיב עובדים קריטיים.

9) קיימות רב-אזורית

נכס עבור API ותורים, לדג 'ר מקומי (או גלובלי עם איזור/מטבע).

תושבות נתונים: כסף/PII/יומנים אינם חוצים ללא כללים מפורשים.

שכפול אירועים הוא בין-אזורי - אסינכרוני, מסומן ”אזור”.

RPO/RTO: כוון את RPO 5 דקות, RTO 30 דקות; לבדוק באופן קבוע.

10) SLO/SI ולוחות מחוונים

ציוני דרך (דוגמה):

p95&upship authorite/divit/credit '<150-300 ms (נתיב פנימי).
p95 מקצה לקצה ”אוטובוס קומנדה” ”סוביטיי” <1-2 s.
משלוח של חוברות אינטרנט/אירועים חיצוניים p99 <5 דקות.
העברות אבודות/כפולות = 0 (בדיקות חוזה).

Metrics: latency p50/p95/p99, rate-rate (4xx/5xx/business), latness lag, webhook lag, DLQ, 'IDEMPOTENCY _ MISMATCH'.

11) יכולת תצפית וביקורת

רישומי JSON מובנים עם "trace _ id'," idempotency _ key ", זיהוי עסקי, קודי שגיאה.

OpenTelemetry: HTTP/gRPC/DB/Bus tracking, מרווחי סאגות.

ביקורת תולעת: רישומי שינוי קריטיים בלתי ניתנים לשינוי (גבולות, מפתחות, פרומו/כל קופה).

מיסוך סודי, דליים אזוריים, RBAC/ABAC לגישה ליומן.

12) בדיקת מהימנות

מבחני חוזה: חזרות/שכפולים, מחוץ לסדר, אידמפוטנטיות, דידאפ.

עומס: פרופיל שיא (x10), יציבות תורים ו DB.

מקרי כאוס: לדג 'ר/ארנק לרדת, תור/אזורים לזרוק, עיכובים CDC, מגש מחדש ”סערה”

ימי משחק: תרגילי ד "ר רגילים ותקריות, עם MTTR נמדד.

13) אחסון ונתונים

OLTP עבור כסף: מסד נתונים עסקי (RPO ו-0), אינדקסים נוקשים, רמות סריאליזציה עבור ישויות קריטיות.

מטמון (רדיס) - רק להאצה, לא ל "אמת. "טי-טי-אל + ג 'יטר, מטמון הגנה.

OLAP/DWH לדיווחים/אנליטיקה. זורמים ממרכז לבקרת מחלות/אוטובוס, אין עומס על אולטרה-סגול.

תרשימי נתונים מבוססים; הגירה ללא השבתה (הרחבת/חוזה).

14) תזמור של חזרות

גיבוי מעריכי + ג 'יטר, מועדים/פסק זמן על RPC.

Idempotent חוזר על כל שכבה (לקוח = שירות = צרכן).

מכסות רטראי, להגן מפני ”סערות” (מפסק מעגל חשמלי, בקשות מגודרות במקום המתאים).

שידור חוזר מ-DLQ רק לחלונות ”בטוחים”, עם הגבלת מהירות.

15) בטיחות המשלוחים

MTLS בכל מקום S2S, אסימונים קצרי ימים (OAuth2 CC), חתימות גוף (HMAC/EDSA) לחוברות אינטרנט.

סודות בכספת/HSM, סיבוב, מפתחות למותג/אזור.

פוליטיקאים פחות חיסיון, ”ארבע עיניים” על פעולות ידניות.

16) חוזי דגימה (שברים)

פקודת חיוב אידמפוטנטית


פוסט/v1/ארנק/חיוב
כותרות: X-Idempotency-Key: debit_pi_001, X-Trace-ID: tr_a1b2
{
”account_id":"acc_42,” ”סכום ”: [”מינור _ יחידות ”: 5000,” מטבע”:” EUR”), ”סיבה ”:” תשלום”, ”reference_id":"po_001”
}
▪ 200 [”סטטוס ”: ”מחויב”, ”entry_id":"e_77”]
(חוזר אותה תשובה)

אירוע מהתיבה החיצונית

ג 'סון
{
”event_id":"uuid,” event_type":"wallet. חיוב. מחויבים, " " " " " ", מטבע ": 3. 0"
}

17) רשימות בדיקה

פלטפורמה/אופרטור

[ ] נכון על איזון - אחד לדג 'ר; אין מעקפים.

[ ] כל פעולות כתיבה עם 'Idempotency-Key'; תגובת המפתח מאוחסנת.

[ ] Outbox/CDC לכל רישומי דומיין, DLQ והצליח שידור חוזר.

[ ] תורים בעדיפות עליונה, לחץ אחורי, מצבי השפלה.

[ ] מפתחות החלוקה נבחרים על ידי מפתחות עסקיים; צרכנים הם אידיוטים.

[ ] לוחות מחוונים, OpenTelemetry, ביקורת תולעת.

[ ] תרגילי DR/xaoc רגילים, בדיקות חוזה/עומס.

[ התמחות ] נתונים, הצפנה, כספת/HSM, סיבוב מפתח.

ספקים/אינטגרציות

[ ] שליחת אידמפוטנציה-מפתח-אידמפוטנטי, מוכן לשיקום.

[ ] Webhooks חתומים ומשוכפלים.

[ ] גרסאות של תוכניות/חוזים נצפות (semver, deprection).

18) דגלים אדומים (נגד תבניות)

האיזון משתנה על ידי webhook ללא פקודה בדג 'ר.

חוסר אידמפוטנטיות * כתיבה כפולה/קרדיטים.

פרסום אירועים עוקף תיבה/CDC.

מונולית בלי לחץ אחורי: שיא התנועה מוריד את הכל.

ערבוב OLTP ודיווחים: BI פוגע במאגר המידע הקרבי.

היעדר DLQ/שידור חוזר; ”שקט” בליעה של טעויות.

אין בידוד פיל/כסף אזורי; מפתחות משותפים על פני מותגים מרובים.

עריכה ידנית של מאזנים/סטטוסים במאגר הנתונים.

19) השורה התחתונה

עיבוד אל-כשל של מיליוני עסקאות ביום הוא על אינווריאנטים ומשמעת: מקור יחיד של אמת, פקודות אידמפוטנטיות, סאגות ו/CDC, סדר ומת בתורים, תצפית והשפלה מנוהלת. הוסף מנדטים גישה, ד "ר פרקטיקות ותרגילים קבועים - וקבל מערכת שבה הכסף נע במהירות ורק פעם אחת, האירועים אינם אבודים, וצמיחת התנועה והשיבושים הופכים לסיכונים הניתנים לניהול, לא הפתעות.