Як зрозуміти, що твоя стратегія перестала працювати
Іноді стратегія «тримається» місяцями, а потім раптово дає низку поганих батчів. Це може бути шумом дисперсії - а може бути реальною деградацією: зміною RTP-версії, зміною умов акції, невірним калібруванням лімітів. Нижче - чітка система, як відрізнити шум від зсуву і що робити.
1) Що означає «перестала працювати»
Стратегія перестала працювати, якщо її ключові метрики стійко виходять за раніше спостережуваний коридор або втрачають статистичну значимість у порівнянні з базою.
Базовий набір для моніторингу (по батчам, наприклад, по 1 000 спінів):- EV батча (середній підсумок,% до банку).
- Медіанний підсумок (Q50) і квантилі Q75/Q90 - гравець «живе» в медіані і хвостах.
- Max Drawdown (глибина і тривалість).
- Шанс цілей (завершити батч ≥0%, ≥+20%).
- HF і інтервали до ≥×10/bonusa (медіана, 75-й перцентиль).
- Ризик розорення на батч.
Коридор норми фіксується на «здоровому» періоді (baseline) і служить еталоном.
2) Сигнали деградації: правила швидкого розпізнавання
Сигнал - це не один поганий батч, а патерн:1. Величина + стійкість.
EV нижче базового на ≥ X п. п. в 3 + батчах підряд;
Q90 осідання вище базового коридору 2 вікна підряд;
шанс ≥0% впав на ≥ Y п. п. в 3 з 4 останніх вікон.
2. Одночасність. Кілька метрик «червоніють» разом: EV↓, Q50↓, prosadka↑, шанс tseley↓.
3. Зсув форм розподілу.
HF майже незмінний, але інтервали ≥×10 подовжилися → «екшен» став рідше;
хвости стали важчими (частіше глибокі осідання при колишньому EV) → гіршими за профіль ризику.
4. Системність за портфелем. Сигнал проявляється в декількох слотах/сценаріях (не локальна випадковість).
3) Інструменти раннього виявлення (без складної математики)
А) Ковзаючі вікна
Підтримуйте два вікна: «коротке» (останні 10-20 батчів) і «довге» (база). Якщо різниця по EV/медіані виходить за довірчу смугу бази - кандидат на сигнал.
Б) Контрольні карти Шухарта
Для кожної метрики тримайте: середнє базового періоду ± k· σ.
Вихід за 3 σ - сильна тривога.
2 з 3 поспіль за 2 σ в одну сторону - середня тривога.
7 точок поспіль по одну сторону від середнього - тренд.
В) CUSUM
Кумулятивна сума відхилень метрики від її базового середнього. Поступове «сповзання» вниз в CUSUM часто видно раніше, ніж точкові викиди.
Г) Change-point тест (практично)
Порівняйте «раніше» vs «зараз» за батчами: бутстреп інтервал різниці і перестановочний p-тест. Якщо 0 поза 95% ДІ і p <0. 05 - у вас формальний зсув.
4) Помилкові тривоги: Як не сплутати дисперсію зі збоєм
Мінімальний обсяг. Не робіть висновки по <20 батчам у вікні для волатильних слотів.
Єдиний шум для симуляцій (CRN). Якщо перевіряєте стратегії в моделі - порівнюйте на одному і тому ж «шумі».
Множинні перевірки. Якщо метрик багато, використовуйте правило «подвійного підтвердження»: сигнал зараховується, якщо спрацювали дві незалежні метрики або одна метрика + CUSUM.
Календарні фактори. Кінець акції/кешбеку, зміна лімітів, нова версія провайдера - занесіть в журнал, щоб пояснювані зрушення не маскувалися під «поломку стратегії».
5) Діагностика причин (чек-лист)
1. Чи змінився RTP-пул/версія гри?
2. Чи змінилися зовнішні виплати? (кешбек, турнірні очки, місії)
3. Чи змінилася дисципліна? (порушення лімітів, ставка стала часткою банку замість флету, інша довжина батча)
4. Чи змістилася волатильність портфеля? (більше високоволатильних ігор)
5. Технічні фактори. (авто-спін темп, затримки, збої логування)
6. Стратегія «підігнана» під минуле? (симптом - деградація відразу після виходу з періоду оптимізації)
6) Граничні умови (guardrails) - коли бити в дзвін
Задайте заздалегідь стоп-тригери, після яких стратегія ставиться на паузу:- EV (ковзне вікно 20 батчів) <базового на ≥ 5 п. п. і Q90 осідання> бази на ≥ 20% - пауза.
- Ризик розорення цільового (наприклад, 10% на батч) два вікна підряд - пауза.
- Шанс фінішу ≥0% <базового мінус 10 п.п. 3 з 4 вікон - пауза.
7) Що робити, якщо сигнал підтвердився
Крок 1. Поставити стратегію на паузу. Зменшити експозицію: знизити ставку/частку банку або тимчасово зупинити.
Крок 2. Ретест в демо. Перевірити метрики на тому ж наборі слотів/правил в демо/симуляції.
Крок 3. Ізоляція факторів. Повернути колишні умови по одному (RTP-пул, ставка, довжина батча, портфель).
Крок 4. Перекалібрування лімітів. Можливо, сама ідея жива, але потрібні інші стоп-лосси/тейк-профіти і довжина сесії.
Крок 5. Рішення.
У продуктив v2 (якщо метрики відновилися на ретесті і малій експозиції).
Архів (якщо деградація підтверджена і пояснюваних заходів немає).
8) Міні-процедура моніторингу (можна вставити в регламент)
1. Батч: 1 000 спінів; звіт - кожні 10 батчів (ковзне вікно).
2. Метрики: EV, Q50/Q90 підсумку, Q90 осідання (глибина/тривалість), шанс ≥0 %/ ≥+20%, HF, медіана інтервалів ≥×10.
3. База: перші 60 батчів «здорового періоду». Зберігаємо середнє, σ і довірчі смуги.
4. Контроль: Шухарт (3 σ/2 σ), CUSUM, бутстреп-порівняння «раніше/зараз».
5. Лог змін: RTP-версії, акції, правки стратегії.
6. Гардрейли: тригери паузи (з розділу 6).
7. Дії: пауза → демо-ретест → пофакторне повернення → рішення.
9) Шаблон «паспорт здоров'я стратегії»
Період: …
База (батчей): …; поточних батчів: …
EV (база/зараз): …% / …% [Δ … п.п.]
Q50/Q90 підсумку: …% / …% → …% / …%
Q90 DD (глибина/тривалість): … / … ставок → .../...
Шанс ≥0 %/ ≥+20%: … / … → … / …
HF/медіана інтервалу ≥×10: … / … Спини → .../...
Сигнали: Шухарт (...); CUSUM (…); p-тест (p =...); статус: OK/УВАГА/ПАУЗА
Зміни середовища: …
Рішення: продовжувати/знизити ставку/пауза і ретест/архів.
10) Часті помилки при «діагнозі»
Фетиш одного числа. Робити висновки по EV без урахування квантилів і осідань.
Короткі вікна. Рішення по 5-10 батчам на високоволатильних слотах - це шум.
Відсутність бази. Немає еталона - нічим міряти зрушення.
Зміна правил на льоту. «Підлаштували» ліміти після поганих батчів - зруйнували порівнянність.
Ігнор контексту. Невнесені в журнал акції/зміни RTP плутають картину.
Підсумок: стратегія «перестає працювати» не в момент одного невдалого батча, а коли кілька незалежних метрик і контрольні тести вказують на стійке зрушення за межі базового коридору. Тримайте базу, ковзні вікна, контрольні карти і чіткі гардрейли - і ви вчасно відрізните шум дисперсії від реальної деградації, знизіть ризик і перейдете до осмислених дій: пауза, ретест, перекалібрування або архів.
