Torrent фишанги

Казино 24/7 ва амалияҳои занг

1) Ҳадафҳои амалиёти 24/7

Бизнес SLO: воридшавӣ ≥ 99. 9%, пасандоз ≥ 99. 85%, меъёри/ҳисоббаробаркунӣ ≥ 99. 9%, p95 WS RTT ≤ 120 мс.

Ҳадафҳои ҳодиса: MTTD ≤ 1 дақиқа (синтетикӣ), MTTR ≤ 15-30 дақиқа барои гардиши пули нақд.

Сифати дастгирӣ: <3% чиптаҳо дар рӯзи дуюм бидуни посух, CSAT дастгирӣ ≥ 90%.

2) Ташкили занг: моделҳо ва ҷадвалҳо

Моделҳо

Пайравӣ аз офтоб: 3 дастаи гео-даста (Аврупо/Амрико/APAC), ҳадди аққали шаб.

Гардиши шабона дар минтақа: як ҳафтаи шабона ба як нафар дар як ҳафта як маротиба (ҷуброн/вақти истироҳат) мегузарад.

Ба ҳуҷайра асос ёфтааст: боҷи ҳуҷайраи маҳсулот (брендҳо/бозорҳо) + ҳамагӣ L1.

Нақшҳо дар баст

L1 On-call (Фармондеҳи ҳодиса бо нобаёнӣ) - ҳушдорро қабул мекунад, координатҳо мекунад, бо дастгирӣ дар тамос аст.

Муҳандисони домени L2 - пардохтҳо, дарвозаи бозӣ/WS, пойгоҳи додаҳо/ҳамён, платформаи SRE.

Корманди Comms - саҳифаи вазъ, шарикон/провайдерҳо, навсозиҳои дохилӣ.

Менеҷери вазифа - густариши тиҷорат, афзалият, истисноҳо (VIP/танзимкунанда).

Қолаби Shift (12 × 7 ё 8 × 5 + баст)

Shift: 8/10/12 соат. Иваз кардани 15-30 дақиқа "таҳвили гарм".

Қоидаи 2 шаби пайдарпай ҳадди аксар ва на бештар аз 7 рӯзи зангро дар равзанаи 14-рӯза риоя кунед.

Ҳар як баст рӯйхат дорад: вазифа, захира, менеҷери занг, тамос бо L2.

3) Таснифи ҳодисаҳо ва SLA

SEV	Намуна	Таъсир	Реаксияҳои SLA	Ҳалли SLA
SEV-1	Нокомии азими пасандозҳо, воридшавӣ дастнорас аст	Аз даст додани даромад/хатари танзим	≤ 5 дақ	≤ 30 дақиқа ба эътидол
SEV-2	Таъхири гарави баланд, провайдери бозӣ ақиб мондааст	Табдили коҳишёфта	≤ 10 дақ	≤ 2 соат
SEV-3	Қисман нокомии promo/ҳисоботҳо	Таъсири маҳдуд	≤ 30 дақ	≤ 8 соат
SEV-4	Хатогиҳои хурд/огоҳиҳои сифат	Таъсири фаврӣ нест	Тибқи нақша	Тибқи нақша

4) Ҳушдор бидуни садо

Принсипҳо: SLO симптоматикии SLO огоҳ мекунад → манбаи сабабӣ → контекст.

Симптомы: 'login_success_ratio↓', 'deposit_success_by_psp↓', 'ws _ rtt _ p95 →', 'game_launch_success↓'.

Причины: 'db _ conn _ saturation *', 'queue _ lag *', 'psp _ timeout

Муҳофизати садо: қонуншиканиҳои пайдарпай талаб карда мешавад ≥ 3, автоматизатсия ҳангоми озодкунӣ, такрорӣ ва гурӯҳбандӣ.

Маҷмӯи вазифаҳо: танқидӣ - Pager-Duty/Opsgenie; боқимондааш Slack/mail.

Матни ҳушдор: "Чӣ/Дар куҷо/Чӣ қадар/Амал. "Намуна:

💡 SEV-2: муваффақияти амонатии DE/PSP-A 97. 1% <99% 10м. Таъсир: ИА. Сабаби эҳтимолӣ: Вақти PSP Runbook: 'PD-42'.

5) Дафтарчаи корӣ ва авҷгирӣ

Қолаби Mini Runbook

1. Муайянкунӣ: пайвандҳо ба панели панелҳо (SLO, сабабҳо), пайгирӣ, гузоришҳо.

2. Санҷишҳои зуд: PSP/провайдерҳои тиббӣ, синтетикаи DR-минтақа, ҳолати DB/кэш.

3. Тадбирҳои муваққатӣ: хусусиятҳо-парчамҳо/куштан-гузариш, меъёри маҳдудиятҳо, гузариши PSP/провайдер, таназзули хусусиятҳои вазнин.

4. Афзоиш: кӣ L2/L3, бо 24 × 7 провайдер тамос мегирад.

5. Меъёрҳои минтақаи сабз: дақиқаҳои муқаррарии SLO N, навбатҳо

6. Comms: қолаби вазъ, бозорҳо/брендҳои зарардида, ETA/навсозии оянда.

Нардбони эскалатор

T0-5 дақиқа: L1 қабул мекунад, IC таъин мекунад, дафтарчаи кориро оғоз мекунад.

T5-10 дақиқа: мо профили L2 + Comms-ро даъват мекунем.

T10-15 дақиқа: Менеҷери вазифа/маҳсулот, дар ҳолати зарурӣ ҳуқуқӣ/мутобиқат.

Берунӣ: провайдери PSP/Game - тибқи низомнома (канали SLA, чипта, занг).

6) Саҳифаи иртибот ва вазъ

Навсозиҳои дохилӣ ҳар 10-15 дақиқа барои SEV-1/2 (# канали ҳуҷра, қолаби паём).

Саҳифаи вазъ: вазъи кунунӣ, бозорҳои зарардида, чораҳои муваққатӣ, навсозии навбатӣ дар X min.

Қайдҳои пас аз ҳодиса барои дастгирӣ/шарикон/шарикон: чӣ ҳодиса рӯй дод, чӣ гуна ҷуброн кардан.

Қолибҳо пешакӣ: кӯтоҳ, "ошхонаи дохилӣ" нест, гуноҳе нест.

7) Кор бо вобастагии беруна (PSP/бозиҳо/CDN)

Феҳристи тамос 24 × 7: PSP A/B, провайдерҳои бозӣ, CDN/WAF, абр.

Мониторинги SLA: синтетика дар амонатҳо/оғози бозиҳо, триггерҳои автоматии чиптаҳо.

Сиёсати нокомӣ: масир ба PSP-B дар 'муваффақият <99% 10 дақиқа', гузариш ба провайдери бозӣ дар 'TTFS> 800ms'.

Webhooks паёмдони: имзои HMAC, idempotency, бозсозӣ аз навбат пас аз таназзули провайдер.

8) Рӯзи бозӣ ва машқҳо

Машқҳои ҳафтаинаи планшет (30-45 дақиқа): хондани графикҳо, қабули қарорҳо.

Дискҳои техникии ҳармоҳа (60-90 дақиқа): нокомии PSP, ақибмонии провайдер, пойгоҳи додаҳои WS/тарки кластер.

Машқи KPI: вақти шинохтани сабаб, сифати иртибот, дурустии қарорҳо оид ба phicheflags.

9) Таҳвил ва ҳуҷҷатгузорӣ

Рӯйхати назорати интиқоли гарм (15-20 дақиқа):

Хатарҳои ҷорӣ (афзоиши ақиб, маҳдудиятҳои PSP, варақаҳои гарм).
Чиптаҳои холӣ/шиддат.
Phicheflags/маҳдудиятҳои муваққатӣ ва кай бозпас гирифтан.
Хулосаи ҳодисаҳои бастагӣ (SEV/вақт/амал/хатарҳои боқимонда).
Ҳуҷҷатгузорӣ: пойгоҳи додаҳои мустақими дафтарҳо, тамосҳо, схемаҳо, "корти ҷараён" пул/бозиҳо.

10) Саломатӣ ва устувории занг

Қоидаи 8/8/8: кор/хоб/шахсӣ. Басти шабона § вақти истироҳат.

Системаи будди барои шурӯъкунандагон, вазифаи сояи 2-3 ҳафта.

Амнияти равонӣ: ретро "беайб", дастгирии ҳодисаҳои ҷиддӣ.

Аудити сарборӣ: ≤ 2 "бедорӣ" дар як шаб ба ҳисоби миёна барои як муҳандис - ҳадаф; дар боло → истифодаи такрории ҳушдор/меъморӣ.

11) Нишондиҳандаҳои амалиётӣ

MTTD/MTTR аз рӯи домен (воридшавӣ/амонат/WS/бозиҳо).

Сифати ҳушдор:% ғавғо/пӯшида амал намекунад, шумораи миёнаи огоҳиҳо/баст.

Сатҳи нокомии тағирот:% ҳодисаҳое, ки дар натиҷаи релизҳо рух додаанд; вақти миёнаи байни нокомӣ.

Меҳнат: ҳиссаи вазифаҳои дастии такрорӣ → нақшаи автоматизатсия.

Таъсири провайдер: ҳиссаи SEV-2/1 аз ҳисоби шарикони хориҷӣ (далел барои SLA/муҳоҷират).

12) Асбобҳо ва панелҳои "хизматчӣ"

Панели назоратии "сурх" SLO: воридшавӣ/амонат/гарав/бозиҳои оғозёбӣ, 5xx/429, p95, минтақаҳо.

Панелҳои сабабӣ: DB/навбатҳо/кэш, PSP/провайдерҳо, CDN/WAF.

Диспетчери занг: ҳодисаҳои фаъол, таймерҳои нав, истинодҳои як клик ба дафтарчаи корӣ ва phicheflags.

Вақт - кӣ бо истинод ба SLO чӣ кор кард.

13) Сенарияҳои маъмулӣ ва ислоҳи зуд

Амонатҳои A. дар DE дар PSP-A меафтанд

Амалҳо: маршрути канарӣ → PSP-B 50%; вақти таъини webhooks; Дохил JS Challenge дар WAF аз ботҳо.

Comms: "Пасандозҳои таназзули DE тавассути саҳифаи мақоми PSP-A".

Натиҷа: муваффақият ≥ 99% 15 дақиқа, навбати бозгашт

B. болоравии p95 WS дар бозиҳои APAC

Амалҳо: нусхаҳои дарвозаҳои WS-ро зиёд кунед, ҳавзи гармии гиреҳҳоро фаъол кунед; паёмҳои пахши сатҳи маҳдуд; Провайдер - чиптаи РТТ.

Натиҷа: p95 WS RTT ≤ 120 ms 20 min.

C. провайдери бозӣ қафо (TTFS> 1). 2 с)

Амалҳо: гузариш ба фойе ба ҷадвалҳои/студияҳои алтернативӣ, имкон додани кэши метамаълумот; навсозии вазъ.

Натиҷа: TTFS <800 мс, шикоятҳои ↓.

14) 24/7 Рӯйхати санҷиши омодагӣ

Гардишҳо ва бастҳо тасдиқ карда мешаванд, "рақами дуюм" дар ҳар як баст.
Огоҳии SLO + сабабӣ, зидди садо, шакли ягонаи паём.
Китоби пурраи кор 'ва бо "фишангҳои зуд" (phicheflags, PSP/провайдерҳо, маҳдудиятҳо).
Бо 24 × 7 шарикони хориҷӣ тамос гиред, дар як семоҳа як маротиба санҷиш даъват кунед.
Саҳифаи вазъ ва қолабҳои навсозии беруна.
Машқҳои Day/DR аз рӯи ҷадвал, ретроспективаҳо бидуни айбдоркунӣ.
Воситаҳои занг: панели панелҳо, ҷадвал, сабти ҳалли масъала.
Сиёсати ҷуброн/вақти истироҳат, маҳдудияти бедории шаб, дастгирии саломатӣ.
Раванди пас аз ҳодиса: RCA дар 48 соат, вазифаҳои барқарорсозӣ бо соҳибон ва мӯҳлатҳо.

15) Қолаби пас аз марг (беайб)

1. Хулоса: чӣ ҳодиса рӯй дод, чӣ гуна SEV, таъсир ва миқёс.

2. Сатри вақт: муайянкунӣ → шиддат → амал → мӯътадилсозӣ.

3. Сабабҳои решавӣ: он/равандҳо/одамон/таъминкунандагон (5 Чаро).

4. Чӣ кор кард/чӣ кор накард: огоҳиҳо, рутбаҳо, иртибот.

5. Ҷузъҳои амал: техникӣ, раванд, шарик - масъулият ва мӯҳлатҳо.

6. Пешгирӣ: санҷишҳо/мониторинг/машқҳо, тағироти SLO/ҳушдор.

Хулосаи дубора

Амалиёти бомуваффақияти 24/7 казино интизоми SLO мебошад, ки бидуни садо ҳушдордиҳандаи дуруст тарҳрезӣ шудааст, китобчаҳо ва авҷгирии тоза, машқҳои мунтазам ва эҳтиром ба одамони даъват. Панелҳои Link SLO ба фишангҳои зуд (фихефлагҳо, гузариши PSP/провайдер, таназзули хусусиятҳои вазнин), нигоҳ доштани иртибот бо бозингарон ва шарикон, самаранокии андозагирӣ (сифати MTTD/MTTR/ҳушдор) - ва платформаи шумо шабонарӯзӣ устувор хоҳад буд ва даста - самаранок ва устувор.