Как понять, что твоя стратегия перестала работать

Иногда стратегия «держится» месяцами, а потом внезапно даёт череду плохих батчей. Это может быть шумом дисперсии — а может быть реальной деградацией: сменой RTP-версии, изменением условий акции, неверной калибровкой лимитов. Ниже — чёткая система, как отличить шум от сдвига и что делать.

1) Что значит «перестала работать»

Стратегия перестала работать, если её ключевые метрики устойчиво выходят за ранее наблюдаемый коридор либо теряют статистическую значимость по сравнению с базой.

Базовый набор для мониторинга (по батчам, например, по 1 000 спинов):

EV батча (средний итог, % к банку).
Медианный итог (Q50) и квантили Q75/Q90 — игрок «живёт» в медиане и хвостах.
Max Drawdown (глубина и длительность).
Шанс целей (завершить батч ≥0%, ≥+20%).
HF и интервалы до ≥×10/бонуса (медиана, 75-й перцентиль).
Риск разорения на батч.

Коридор нормы фиксируется на «здоровом» периоде (baseline) и служит эталоном.

2) Сигналы деградации: правила быстрого распознавания

Сигнал — это не один плохой батч, а паттерн:

1. Величина + устойчивость.

EV ниже базового на ≥ X п.п. в 3+ батчах подряд;

Q90 просадки выше базового коридора 2 окна подряд;

шанс ≥0% упал на ≥ Y п.п. в 3 из 4 последних окон.

2. Одновременность. Несколько метрик «краснеют» вместе: EV↓, Q50↓, просадка↑, шанс целей↓.

3. Сдвиг форм распределения.

HF почти неизменен, но интервалы ≥×10 удлинились → «экшен» стал реже;

хвосты стали тяжелее (чаще глубокие просадки при прежнем EV) → хуже профиль риска.

4. Системность по портфелю. Сигнал проявляется в нескольких слотах/сценариях (не локальная случайность).

3) Инструменты раннего обнаружения (без сложной математики)

А) Скользящие окна

Поддерживайте два окна: «короткое» (последние 10–20 батчей) и «длинное» (база). Если разница по EV/медиане выходит за доверительную полосу базы — кандидат на сигнал.

Б) Контрольные карты Шухарта

Для каждой метрики держите: среднее базового периода ± k·σ.

Выход за 3σ — сильная тревога.

2 из 3 подряд за 2σ в одну сторону — средняя тревога.

7 точек подряд по одну сторону от среднего — тренд.

В) CUSUM

Кумулятивная сумма отклонений метрики от её базового среднего. Постепенное «сползание» вниз в CUSUM часто видно раньше, чем точечные выбросы.

Г) Change-point тест (практично)

Сравните «раньше» vs «сейчас» по батчам: бутстрэп интервал разницы и перестановочный p-тест. Если 0 вне 95% ДИ и p < 0.05 — у вас формальный сдвиг.

4) Ложные тревоги: как не спутать дисперсию со сбоем

Минимальный объём. Не делайте выводы по < 20 батчам в окне для волатильных слотов.

Единый шум для симуляций (CRN). Если проверяете стратегии в модели — сравнивайте на одном и том же «шуме».

Множественные проверки. Если метрик много, используйте правило «двойного подтверждения»: сигнал засчитывается, если сработали две независимые метрики или одна метрика + CUSUM.

Календарные факторы. Конец акции/кешбэка, изменение лимитов, новая версия провайдера — занесите в журнал, чтобы объяснимые сдвиги не маскировались под «поломку стратегии».

5) Диагностика причин (чек-лист)

1. Изменился ли RTP-пул/версия игры?

2. Сменились ли внешние выплаты? (кешбэк, турнирные очки, миссии)

3. Изменилась ли дисциплина? (нарушение лимитов, ставка стала долей банка вместо флэта, другая длина батча)

4. Сместилась ли волатильность портфеля? (больше высоковолатильных игр)

5. Технические факторы. (авто-спин темп, задержки, сбои логирования)

6. Стратегия «подогнана» под прошлое? (симптом — деградация сразу после выхода из периода оптимизации)

6) Граничные условия (guardrails) — когда бить в колокол

Задайте заранее стоп-триггеры, после которых стратегия ставится на паузу:

EV (скользящее окно 20 батчей) < базового на ≥ 5 п.п. и Q90 просадки > базы на ≥ 20% — пауза.
Риск разорения > целевого (например, 10% на батч) два окна подряд — пауза.
Шанс финиша ≥0% < базового минус 10 п.п. 3 из 4 окон — пауза.

7) Что делать, если сигнал подтвердился

Шаг 1. Поставить стратегию на паузу. Уменьшить экспозицию: снизить ставку/долю банка или временно остановить.

Шаг 2. Ретест в демо. Перепроверить метрики на том же наборе слотов/правил в демо/симуляции.

Шаг 3. Изоляция факторов. Вернуть прежние условия по одному (RTP-пул, ставка, длина батча, портфель).

Шаг 4. Перекалибровка лимитов. Возможно, сама идея жива, но требуются иные стоп-лоссы/тейк-профиты и длина сессии.

Шаг 5. Решение.

В продуктив v2 (если метрики восстановились на ретесте и малой экспозиции).

Архив (если деградация подтверждена и объяснимых мер нет).

8) Мини-процедура мониторинга (можно вставить в регламент)

1. Батч: 1 000 спинов; отчёт — каждые 10 батчей (скользящее окно).

2. Метрики: EV, Q50/Q90 итога, Q90 просадки (глубина/длительность), шанс ≥0%/≥+20%, HF, медиана интервалов ≥×10.

3. База: первые 60 батчей «здорового периода». Сохраняем среднее, σ и доверительные полосы.

4. Контроль: Шухарт (3σ/2σ), CUSUM, бутстрэп-сравнение «раньше/сейчас».

5. Лог изменений: RTP-версии, акции, правки стратегии.

6. Гардрейлы: триггеры паузы (из раздела 6).

7. Действия: пауза → демо-ретест → пофакторный возврат → решение.

9) Шаблон «паспорт здоровья стратегии»

Период: …

База (батчей): …; текущих батчей: …

EV (база / сейчас): …% / …% [Δ … п.п.]

Q50/Q90 итога: …% / …% → …% / …%

Q90 DD (глубина / длительность): … / … ставок → … / …

Шанс ≥0% / ≥+20%: … / … → … / …

HF / медиана интервала ≥×10: … / … спинов → … / …

Сигналы: Шухарт (…); CUSUM (…); p-тест (p=…); статус: OK / ВНИМАНИЕ / ПАУЗА

Изменения среды: …

Решение: продолжать / снизить ставку / пауза и ретест / архив.

10) Частые ошибки при «диагнозе»

Фетиш одного числа. Делать выводы по EV без учёта квантилей и просадок.

Короткие окна. Решения по 5–10 батчам на высоковолатильных слотах — это шум.

Отсутствие базы. Нет эталона — нечем мерить сдвиг.

Смена правил на лету. «Подстроили» лимиты после плохих батчей — разрушили сравнимость.

Игнор контекста. Невнесённые в журнал акции/изменения RTP путают картину.

Итог: стратегия «перестаёт работать» не в момент одного неудачного батча, а когда несколько независимых метрик и контрольные тесты указывают на устойчивый сдвиг за пределы базового коридора. Держите базу, скользящие окна, контрольные карты и чёткие гардрейлы — и вы вовремя отличите шум дисперсии от реальной деградации, снизите риск и перейдёте к осмысленным действиям: пауза, ретест, перекалибровка или архив.