אירועים תזונתיים: ארכיטקטורה וביטחון

הזנת אירועים בזמן אמת היא מערכת מחזור דם של מוצרים עם משחק, אנטי הונאה, טריגרים ותשלומים. כדי שזה יעבוד באופן צפוי בפסגות, לא לשכפל פרסים ולא להדליף נתונים, דרושה ארכיטקטורה קפדנית: מפרוטוקולים ואוטובוס לחתימה, אידמפוטנטיות, פריבטירים תקציביים ויכולת תצפית.

1) מטרות ודרישות

אמינות: משלוח אירועים עם פיגור מינימלי (p95 250 ms בליעה, p95 1-2 s לצרכן).

משלוח: לפחות פעם אחת הובלה + לוגי בדיוק-פעם אחת דרך אידמפוטנטיות.

הזמנה: הזמנה על ידי מפתח (בדרך כלל "user _ id') עם הזמנת חלונות מחדש.

אבטחה: MTLS, HMAC/JWT, סיבוב מפתח, הגנה חוזרת/כפולה, מיזעור PII.

קנה מידה: שריטה אופקית, תרמיל גב, קצב מגביל, DLQ/הילוך חוזר.

יכולת ניהול: סכימת רישום, שליחות, נדידה ללא הפסקה.

ציות: ביקורת (WORM), שערי RG/KYC, גיאו-פוליסות, GDPR/אנונימיות.

2) ארכיטקטורת התייחסות (שכבה אחר שכבה)

1. מפיקים (מקורות): שרת משחקים, ארנק/תשלום, KYC/AML, לקוח SDKs (web/iOS/Android).

2. שער API (Ingress): קבלת פנים HTTP/gRPC, אימות סכימה, אימות, HMAC/MTLS, נורמליזציה בזמן.

3. תור/זרם: Kafka/Rabbit/Cloud Pub/Sub - חציצה, מחולקת על ידי "user _ id'.

4. מעבד זרם: מנרמל, העשרה, ניתוב נושאים, דגלי אנומליה/אנטי-בוטים, הקלטה אידמפוטנטית.

5. צרכנים: חוקים/ניקוד, תזמורת פרס, מחברים CRM/CDP, אנטי-הונאה, כיור אנליטי.

6. אחסון: אירועים בלתי ניתנים לשינוי, חנויות, אינדקס לאידמפוטנטיות, רישום ביקורת.

7. תצפית: מדדים, יומנים, עקבות, התראות; פאניקה של DLQ.

8. תרשים, מפתחות/סודות, RBAC/ABAC, פישפלאגים, שירות שידור חוזר.

3) פרוטוקולי משלוח: מתי להשתמש במה

HTTP/JSON (שרת אל שרת): פשוט, תואם, טוב לשותפים חיצוניים. הוסף אידמפוטנטיות HMAC +.

GRPC/Protobuf: לינה נמוכה, מזימות מחמירות, זרמי בידי לשירותים פנימיים.

שקע רשת/SSE: דחוף ללקוח, מנוי UI ללוחות ראשי וקידמה.

CDC/Kafka Connect: כאשר המקורות הם בסיסי נתונים/ארנקים, לא שירותים עסקיים.

המלצה: היקף חיצוני - HTTP + HMAC + MTLS; בתוך GRPC/Protobuf.

4) אירוע ומודל הכינוס

ג 'סון
{
event_id": ”e_01HF3Z8Z7Q8Q2K,” event_type": ”הימור”, ”schema_version":” 1. 3. 0, " :"  ""  ". 183Z, "מפתח": ("user_id":" u_12345 "," ctx ":
 : " " "פלטפורמה": "ios", "geo": "TR", " :" "
”מטען”:
"game_id": "slot_wolf," "הימור": 0. 5, ”לנצח”: 1. 25, ”מטבע”: ”EUR”, ”ספק”: ”GameCo”
”סיג”:
"algo": "HMAC-SHA256," "ילד": "k_2025_10," "ts': 1730061441," mac ":" c7b7b3... f1 "
}
}

כללים:

שתי הפעמים הן ”התרחש _ at” (מקור) ו ”בלע _ at” (שער). אפשר לשעון להיסחף ב-300 ש "ח.
מפתח הניתוב הוא מה שקובע את הסדר (בדרך כלל "user _ id').
PII רק ב ”ctx ”/” peacload” על עקרון המזעור; עבור תכונות רגישות, אסימונים.

5) משלוח, סדר ואידמפוטנטיות

לפחות פעם אחת שיגור פי כפילויות והזמנה מחדש אפשריים.

לוגיקה של פעם אחת בדיוק: לשמור טבלת אידמפוטנטיות עם אינדקס ייחודי על '(event_id)' ו/או '(user_id, source_seq)'; אני חוזר, ללא ניתוח.

סקיצה של SQL:

sql
צור שולחן event_log (
 מפתח טקסט ראשי, טקסט , טקסט ,
);

-- הוספה מוגנת כפולה
הכנס לתוך  ( , , מטען)
ערכים (:event_id,:user_id,:event_type,:occurred_at,:payload)
על סכסוך (event_id) לא לעשות כלום;

סדר: חלוקת הזרם על ידי "user _ id' + הזמנת חלון 60-120 שניות במעבד. מאוחר יותר, המאורעות הבאים בסתיו ל ”שידור חוזר” של פעולות התיקון.

6) כיסוי גב וניהול שיא

קצב דלי טוקאן מגביל את ה- (per-IP, per-partner, per-key).

מפסק מעגל: עם 5xx מצרכנים פנימיים, הידרדרות (נשירה של אירועים אופציונליים, תורים מגבירים מרווחי מגש).

DLQ: הודעות שגויות באופן קבוע (bitmap, חתימה לא תקפה, חתימה TTL חרגה).

שירות הילוך חוזר: Selective DLQ בהילוך חוזר על ידי "event _ id'/time range.

7) מזימות ואבולוציה: כיצד לא ”לשבור” את הדרבן

Schema Registry: JSON Schema/Protobuf; מדיניות תאימות: אחורה ליצרנים, קדימה לצרכנים.

Versioning: ”schema _ version”, major - רק דרך ficheflag וכתיבה כפולה (double-write).

חוזים: קידום התוכנית לאחר תקופת הכנרת ומדדים ירוקים.

חוק האימות לדוגמה של YAML:

תאימות יאמל:
אכיפה: מצב נכון: blocked_fields לאחור:
- מטען. sn sn
- מטען. card_number required_fields:
- event_id
- event_type
- occurred_at

8) מודל איום והגנה

איומים: זיוף גוף, שידור חוזר, דליפת מח "ש, פשרת מפתח, סכימה-הרעלה, DOS, MITM, חתימה-חשפנות.

הגנה:

MTLS בהיקף: תעודות לקוח לטווח קצר, CRL/OCSP.
חתימת הגוף של HMAC + 'X-Timestamp' ו-TTL (300 ש "ח).
JWT (credentials/OAuth2 לקוח) - לאישור והגבלות היקף.
סיבוב מפתח (KMS): ”ילד” בכותרת; תכנית סיבוב 30-90 יום; בדוק שוב בחלון הנדידה.
Nonce/idempotency: X-Request-ID לבקשות צדדיות (תשלומים, בונוסים); שמור טי-אל לזמן מה.
Pinning מסוג תוכן, גודל גוף מקסימלי, IP/ASN רשימה מאפשרת עבור אינטגרציות קריטיות.
ביקורת תולעת של כל המטען הגולמי הנכנס + כותרות (אחסון בלתי משתנה).

HMAC (פסאודו קוד) דוגמה:

גוף פיתון = בקשה. raw_body ts = int (בקשה. כותרות [” X-Timestamp” ])
assert abs (עכשיו () - ts) <= 300 # settreplay ילד = בקשה. כותרות [ "X-Key-Id' ]
סוד = kms. תביא (ילד)
mac = hmac_sha256 (סוד, גוף)
Asfert hmac_eq (מק, בקשה. כותרות [” X-חתימה” ])

9) פרטיות, PII ו ־ RG/KYC

מזעור: העברת PII על ידי קישור סמלי (ל-5-15 דקות) במקום מקוון; עריכה/אנונימיות ביומנים גולמיים אסורה - שימוש בדפי מח "ש נפרדים.

גישה: ABAC לפי תחום השיפוט ותכונות התפקיד; כולם קוראים את יומן הביקורת.

GDPR: הפעל את הזכות למחוק באמצעות מיפוי מפתחות כדי למחוק את המח "ש מבלי להפר את עובדות האירועים.

RG/KYC: אירועים הדורשים תגמולים יקרי ערך, דלגו רק עם רמת KYC תקפה ודגלי RG ”אישור”.

10) יכולת תצפית ו ־ SLO

SLO (דוגמה):

בלע p95 בלום 250 ms; מקצה לקצה p95 לבוש 2; כישלון של 0 מנוגדים. 1 %/יום.
חתימת שגיאה (HMAC/JWT) מציינת 0. 02% מהזרימה הכוללת.
תעריף מילוי DLQ על 0. 1%; ”כפילויות” אחרי אידמפוטנציה על 0. 005%.

לוח מחוונים:

RPS לפי מקור, p50/p95 latency, 4xx/5xx, חתימות שגיאה, time-skew.
Lag by party, עיבוד/second, מלא DLQ, חזרה, שידור חוזר של כרכים.
מזימות: שיתוף מסרים לפי גרסה, הפרות תאימות.
בטיחות: קצב מצערת-RPS, מפסקים, אנומליות IP/ASN.

התראות (דוגמאות):

SRM של הזרימה (עיוות חד של התנועה ממקור אחד).
Latency p95> המטרה 5 min +, DLQ growth> X/min.
חתימות שגיאה> Y ppm, "X-Request-Id' הילוך חוזר ספייק.
שעות סחיפה> 120 s במקור.

11) סובלנות מרובת אזורים ואשמה

אזורי Active-Active, ניתוב גלובלי (GeoDNS/Anycast), דביק-key על ידי "user _ id' ach region.

נושא שכפול חוצה-אזורי לאירועים קריטיים (מוניטרית, KYC).

רדיוס פיצוץ: בידוד על ידי דיירים/מותגים, תקציבים אישיים ומפתחות.

RPO, 5 דקות, RTO 30 דקות; חזרות רגילות.

12) מדיניות שימור ושידור חוזר

אירועים גולמיים: 7-30 ימים (לפי עלות), אגרגטים/תצוגות - ארוכים יותר.

שידור חוזר מותר רק על ידי ספר ריצות חתום (מי, מה, למה, טווח זמן).

ההילוך החוזר תמיד הולך לגרסת זרם חדשה עם דגל ה ”נשחק מחדש = אמת” לשקיפות אנליטית.

13) דוגמאות הגדרות

אינגרס (סגנון NGINX) מגבילה:

nginx limit_req_zone $ binary _ addr zone = req _ limit: 10m rate = 300r/s;
אזור limit_req = req _ גבול פרץ = 600 nodelay;

client_max_body_size 512k;
proxy_read_timeout 5 אס;

קפקא (דוגמה):

מאפיינים מספר. מחיצות = 64 מינוס. insync. העתקים = 2 אקס = כל השימור. ms = 604800000 # 7 כיווץ ימים. סוג = zstd

מדיניות עבור מפתחות (KMS):

יאמל  ": 45 : 7 
key_scopes:
- נושא: ”wallet_events”
מפיקים: [ ”ארנק-svc ”]
צרכנים: [ ”ספר חשבונות ”, ”סיכון-svc ”]

14) רשימת שיגור בזמן אמת

[ ] MTLS בהיקף, HMAC/JWT, סיבוב מפתח ('ילד').

[ ] Idempotence on Logic (מפתחות ייחודיים, Opsert/On Conflict).

[ ] החלוקה על ידי "user _ id', הזמנת חלון מחדש, שידור חוזר של שירות.

[ ] סכימה + מדיניות תאימות; כתיבה כפולה לעדכונים גדולים.

[ קצב ] מגביל, מפסק זרם, DLQ + סקירה ידנית.

[ ] תצפית: SLO, התראות על ידי חתימה/Latency/DLQ/Lag.

[ ] מדיניות פיי/אנונימיזציה, ABAC, ביקורת תולעת.

[ ] DR/multi-area, חזרות פילובר.

[ ] Runbooks: תקריות, שידור חוזר, סכימה/מפתח rollback.

15) מקרה מיני (סינתטי)

ההקשר: שיא טורניר, 120 כניסות ל-RPS, 64 משחקים, 2 אזורים פעילים.

סה "כ במשך 4 שבועות: בלע p95 210 ms, e2e p95 1. 6 אס; DLQ 0. 05%; חתימות שגיאה 0. 009%; כפילות לאחר אידמפוטנטיות 0. 003%.

תקרית: סחף השעון של פרטנר (9 דקות). מפסק מעגל העביר את הזרם לנקודת הסיום של ”buffer”, CSM הודיע לבריאות שותף; לאחר חבורת NTP - חלון משחזר 12 דקות לכל הצרכנים. אין הפסדים ותשלומים כפולים.

16) תקציר

שידור אמין בזמן אמת הוא לא "רק קורות אינטרנט. זוהי מערכת שכבתית עם חוזים ברורים: לפחות פעם אחת טרנספורט + לוגי בדיוק-פעם אחת, תרמית רישום ורישום, MTLS/HMAC/JWT וסבב מפתח, תרמיל אחורי/DLQ/הילוך חוזר, מזעור PII וביקורת קפדנית. ע "י ביצוע השיטות האלה, תקבלו זרם מהיר, מאובטח וצפוי של אירועים עליהם תוכלו לבסס בביטחון