أحداث تغذية Realtime: الهندسة المعمارية والأمن

موجز الأحداث في الوقت الفعلي هو «نظام دوران» من المنتجات مع الألعاب ومكافحة الاحتيال ومحفزات CRM والمدفوعات. لكي تعمل بشكل متوقع في القمم، وليس الجوائز المكررة وليس تسريب البيانات، هناك حاجة إلى بنية صارمة: من البروتوكولات والحافلة إلى التوقيع، والخصوصية، والخصائص في الميزانية، وقابلية الملاحظة.

1) الأهداف والمتطلبات

الموثوقية: تسليم الأحداث مع الحد الأدنى من التأخير (p95 ≤ 250 ms inester، p95 ≤ 1-2 s للمستهلك).

التسليم: نقل مرة واحدة على الأقل + منطقي مرة واحدة بالضبط من خلال الغباء.

الطلب: الطلب حسب المفتاح (عادة «المستخدم _ معرف») مع إعادة ترتيب النوافذ.

الأمان: MTLS، HMAC/JWT، تناوب المفتاح، إعادة التشغيل/الحماية المكررة، تقليل PII.

المقياس: الشحن الأفقي، الضغط الخلفي، الحد من الأسعار، DLQ/إعادة التشغيل.

قابلية الإدارة: سجل المخطط، النسخ، الهجرات دون توقف.

الامتثال: مراجعة الحسابات (WORM)، بوابات RG/KYC، السياسات الجغرافية، اللائحة العامة لحماية البيانات/إخفاء الهوية.

2) البنية المرجعية (طبقة تلو الأخرى)

1. المنتجون (المصادر): خادم الألعاب، المحفظة/الدفع، KYC/AML، العملاء SDKs (web/iOS/Android).

2. بوابة API (الدخول): استقبال HTTP/gRPC، التحقق من صحة المخطط، المصادقة، HMAC/MTLS، تطبيع الوقت.

3. قائمة الانتظار/التيار: Kafka/Rabbit/Cloud Pub/Sub - التخزين المؤقت، التقسيم بواسطة "user _ id'.

4. معالج التيار: معالج طبيعي، إثراء، توجيه الموضوع، أعلام شاذة/مضادة للروبوتات، تسجيل غبي.

5. المستهلكون: القواعد/النقاط، ومنسق المكافأة، وموصلات CRM/CDP، ومكافحة الاحتيال، والمغسلة التحليلية.

6. التخزين: أحداث غير قابلة للتغيير، واجهات المحلات، فهرس الخصوصية، سجل التدقيق.

7. إمكانية الرصد: المقاييس، والسجلات، والآثار، والإنذارات ؛ الذعر → DLQ.

8. المستوى الإداري: سجل المخطط، المفاتيح/الأسرار، RBAC/ABAC، phicheflags، خدمة إعادة التشغيل.

3) بروتوكولات التسليم: متى تستخدم ما

HTTP/JSON (خطوط الويب من خادم إلى خادم): بسيطة، متوافقة، جيدة للشركاء الخارجيين. أضف HMAC + الخصوصية.

gRPC/Protobuf: زمن انتقال منخفض، مخططات صارمة، تدفقات بيدي للخدمات الداخلية.

WebSocket/SSE: ادفع للعميل واشتراكات واجهة المستخدم إلى لوحات المتصدرين والتقدم.

CDC/Kafka Connect: عندما تكون المصادر قواعد بيانات/محافظ، وليست خدمات تجارية.

التوصية: المحيط الخارجي - HTTP + HMAC + MTLS ؛ داخل - gRPC/Protobuf.

4) الأحداث والاتفاقية النموذجية

جسون
{
«event_id": «e_01HF3Z8Z7Q8Q2K,» event_type": «رهان «،» schema_version": «1 «. 3. 0، "occurred_at":" 2025-10-24T11:37:21Z, "" ingested_at": "2025-10-24T11:37:21. 183Z,» «key»: {«user_id": «u_12345»}, «ctx»: {
"session_id":" s_778, "" منصة ":" ios'، "geo": "TR"، "device_fp":" fp_4a1... "
}، «حمولة»: {
"game_id": "slot_wolf," "رهان": 0. 5، «الفوز»: 1. 25، «العملة»: «اليورو»، «المزود»: «GameCo»
}, «sig»: {
«algo»: «HMAC-SHA256,» «kid':» k_2025_10, «ts': 1730061441،» mac': «c7b7b3... f1»
}
}

القواعد:

المرتان هما «حدثت _ at' (المصدر) و» ابتلعت _ at' (البوابة). اسمح للساعة بالانجراف ± 300 ثانية.
مفتاح التوجيه هو ما يحدد الترتيب (عادة «المستخدم _ معرف»).
لا يوجد مؤشر هوامش الاستثمار في 'ctx '/' الحمولة' إلا على أساس مبدأ التقليل إلى أدنى حد ؛ للسمات الحساسة، الترميز.

5) التسليم والطلب والفراغ

من الممكن تكرار النقل وإعادة → مرة واحدة على الأقل.

منطق مرة واحدة بالضبط: الاحتفاظ بجدول للتطرف مع فهرس فريد على «(event_id)» و/أو «(user_id، source_seq)» ؛ كرر - لا.

رسم SQL:

sql
إنشاء الجدول event_log (
event_id النص الرئيسي، النص user_id، النص event_type، occurred_at TIMESTAMPTZ، الحمولة JSONB
);

- الإدراج المزدوج الحماية
أدخل في event_log (event_id، user_id، event_type، occurred_at، الحمولة)
القيم (:event_id,:user_id,:event_type,:occurred_at,:payload)
بشأن النزاع) event_id (لا تفعل شيئا ؛

اطلب: تقسيم التيار بواسطة «مستخدم _ معرف» + إعادة ترتيب النافذة 60-120 ثانية في المعالج. في وقت لاحق، تقع الأحداث التي تأتي في «إعادة» الوظائف التصحيحية.

6) الضغط الخلفي وإدارة الذروة

معدل دلو الرمز الذي يحد من دخول на (لكل IP، لكل شريك، لكل مفتاح).

قاطع الدائرة: مع 5xx من المستهلكين الداخليين، → التدهور (تسرب الأحداث الاختيارية، قوائم الانتظار تزيد من فترات إعادة التدوير).

DLQ: رسائل خاطئة بشكل دائم (bitmap، توقيع غير صالح، توقيع TTL تجاوز).

خدمة إعادة التشغيل: إعادة تشغيل DLQ انتقائية بواسطة «event _ id »/النطاق الزمني.

7) المخططات والتطور: كيف لا «تكسر» الحافز

سجل المخطط: مخطط JSON/Protobuf ؛ سياسات التوافق: إلى الخلف بالنسبة للمنتجين، وإلى الأمام بالنسبة للمستهلكين.

Versioning: 'schema _ version', major - by ficheflag and double-write (dual-write).

العقود: الترويج للمخطط بعد فترة الكناري والمقاييس الخضراء.

قاعدة التحقق من صحة مثال YAML:

توافق يامل:
إنفاذ: الوضع الحقيقي: blocked_fields المتخلف:
- الحمولة. ssn
- الحمولة. card_number required_fields:
- event_id
- event_type
- occurred_at

8) نموذج التهديد والحماية

التهديدات: انتحال الجسم، إعادة التشغيل، تسرب PII، حل وسط رئيسي، تسمم المخطط، DoS، MITM، تجريد التوقيع.

الحماية:

MTLS على المحيط: شهادات العميل قصيرة الأجل، CRL/OCSP.
توقيع هيئة HMAC + 'X-Timestamp' و TTL (± 300 s).
JWT (credentials/OAuth2 العميل) - لقيود الإذن والنطاق.
تدوير المفتاح (KMS): «طفل» في رأسية ؛ وخطة التناوب من 30 إلى 90 يوما ؛ فحص مزدوج في نافذة الهجرة.
عدم القدرة/الخصوصية: 'X-Request-Id' للطلبات الجانبية (المدفوعات والمكافآت) ؛ احتفظ بـ TTL لفترة من الوقت.
تثبيت نوع المحتوى، الحد الأقصى لحجم الجسم، السماح بقائمة IP/ASN للتكامل الحرج.
مراجعة WORM لجميع الحمولة الخام القادمة + الرؤوس (تخزين غير قابل للتغيير).

مثال اختبار HMAC (رمز زائف):

جسم الثعبان = الطلب. raw_body ts = int (طلب. الرؤوس [» X-Timestamp»])
تأكيد عضلات البطن (الآن () - ts) <= 300 # анти - إعادة تشغيل الطفل = الطلب. [» X-Key-Id»]
سر = كم. جلب (طفل)
ماك = hmac_sha256 (سري، جسد)
تأكيد hmac_eq (mac, request. [» توقيع إكس»])

9) الخصوصية، PII و RG/KYC

التقليل إلى أدنى حد: نقل الرقم القياسي لتكنولوجيا المعلومات عن طريق وصلة رمزية (لمدة 5-15 دقيقة) بدلاً من الخط الداخلي ؛ التحرير/إخفاء الهوية في السجلات الخام محظور - استخدم صفحات PII منفصلة.

الوصول: ABAC حسب الولاية القضائية وخصائص الدور ؛ كل ما يقرأ - إلى سجل المراجعة.

اللائحة العامة لحماية البيانات: ممارسة الحق في الحذف عن طريق رسم خرائط المفاتيح لمحو مؤشر الاستثمار الدولي دون كسر حقائق الأحداث.

RG/KYC: الأحداث التي تتطلب مكافآت قيمة، تخطي فقط بمستوى KYC الصالح وأعلام RG «حسنًا».

10) إمكانية الرصد و SLO

SLO (مثال):

Inster p95 ≤ 250 ms ؛ من البداية إلى النهاية p95 ≤ 2 с ؛ فشل ≤ 0. 1 ٪/يوم.
توقيع الخطأ (HMAC/JWT) ≤ 0. 02٪ من التدفق الكلي.
معدل ملء DLQ ≤ 0. 1%; «مكرر» بعد ≤ الخصوصية 0. 005%.

لوحة القيادة:

RPS حسب المصدر، p50/p95 زمن الوصول، 4xx/5xx، توقيعات الخطأ، انحراف الوقت.
تأخر حسب الطرف، معالجة/ثانية، ملء DLQ، إعادة، إعادة تشغيل الأحجام.
المخططات: مشاركة الرسائل حسب النسخة، انتهاكات التوافق.
السلامة: معدل دواسة الوقود، قواطع الدوائر، شذوذ IP/ASN.

تنبيهات (أمثلة):

SRM للتدفق (تشويه حاد لحركة المرور من مصدر واحد).
الكمون p95> الهدف 5 دقائق +، نمو DLQ> X/min.
توقيعات الخطأ> Y ppm، ارتفاع إعادة تشغيل «X-Request-Id».
ساعات الانجراف> 120 ثانية عند المصدر.

11) التسامح بين المناطق والأخطاء

المناطق النشطة، التوجيه العالمي (GeoDNS/Anycast)، المفتاح اللزج حسب منطقة «المستخدم _ المعرف» →.

موضوع الاستنساخ عبر الأقاليم للأحداث الحرجة (نقدي، KYC).

نصف قطر الانفجار: العزل من قبل المستأجرين/العلامات التجارية والميزانيات الفردية والمفاتيح.

خطة DR: RPO ≤ 5 دقائق، RTO ≤ 30 دقيقة ؛ بروفات منتظمة.

12) سياسات الاحتفاظ وإعادة التشغيل

الأحداث الخام: 7-30 يومًا (حسب التكلفة)، المجاميع/العروض - أطول.

لا يسمح بإعادة التشغيل إلا من خلال دفتر تشغيل موقع (من، ماذا، لماذا، النطاق الزمني).

تذهب إعادة التشغيل دائمًا إلى إصدار دفق جديد مع العلم «المعاد = الحقيقي» للشفافية التحليلية.

13) أمثلة التكوين

حدود الدخول (نمط NGINX):

nginx limit_req_zone $ binary _ remote _ addr zone = req _ limite: 10 m rate = 300 r/s;
منطقة limit_req = req _ remit burst = 600 nodelay;

client_max_body_size 512 ك ؛
proxy_read_timeout 5 سنوات ؛

كافكا (مثال):

رقم الخصائص التقسيمات = 64 دقيقة insync. النسخ المتماثلة = 2 أكس = كل الاحتفاظ. السيدة = 604800000 # 7 أيام الضغط. النوع = zstd

سياسة المفاتيح (KMS):

يامل rotation_days: 45 grace_period_days: 7 allow_algos: [«HMAC-SHA256»]
key_scopes:
- الموضوع: «wallet_events»
المنتجون: [«wallet-svc»]
المستهلكون: [«ledger-svc «، «risk-svc»]

14) قائمة مرجعية لإطلاق العلف في الوقت الفعلي

MTLS على المحيط، HMAC/JWT، تناوب المفتاح («طفل»).
التطرف في المنطق (مفاتيح فريدة، مزعجة/على الصراع).
التقسيم بواسطة «مستخدم _ معرف»، إعادة ترتيب النافذة، خدمة إعادة التشغيل.
سجل المخطط + سياسات التوافق ؛ مزدوج الكتابة للتحديثات الرئيسية.
تحديد الأسعار، قواطع الدوائر، مراجعة DLQ + اليدوية.
إمكانية الرصد: SLO، التنبيهات حسب التوقيع/زمن الوصول/DLQ/lag.
PII/سياسة إخفاء الهوية، ABAC، مراجعة WORM.
بروفات DR/متعددة المناطق، feilover.
كتب التشغيل: الحوادث، إعادة التشغيل، المخطط/التراجع عن المفتاح.

15) علبة صغيرة (صناعية)

السياق: ذروة البطولة، 120 إلى دخول RPS، 64 لعبة، 2 منطقة نشطة.

المجموع لمدة 4 أسابيع: تناول p95 210 مللي ثانية، e2e p95 1. 6 s ؛ DLQ 0. 05%; توقيعات الخطأ 0. 009%; تكرار بعد الخصوصية 0. 003%.

الحادث: انجراف ساعة الشريك (− 9 دقائق) → زيادة مضادة للإعادة. نقل قاطع الدائرة التيار إلى نقطة النهاية «العازلة»، وأخطرت صحة الشريك CSM ؛ بعد كدمة NTP - تعيد النافذة 12 دقيقة لجميع المستهلكين. لا توجد خسائر ومدفوعات مضاعفة.

16) موجز

إن التغذية الموثوقة في الوقت الفعلي ليست "مجرد خطافات ويب. "هذا نظام متعدد الطبقات مع عقود واضحة: النقل مرة واحدة على الأقل + المنطقي مرة واحدة بالضبط، نظام التسجيل والإصدار، MTLS/HMAC/JWT والتناوب الرئيسي، الضغط الخلفي/DLQ/إعادة التشغيل، تقليل PII والتدقيق الصارم. من خلال اتباع هذه الممارسات، ستحصل على تدفق سريع وآمن ويمكن التنبؤ به للأحداث التي يمكنك بناء الألعاب عليها بثقة ومكافحة الاحتيال و CRM والمدفوعات.