SaaS-платформа с 60+ релизами в месяц и монолитно-сервисным стеком. До аудита релизы шли напрямую в прод, откаты занимали 40–60 минут, алертов почти не было. За 48 часов собрали аварийный план и алерты, за 10 дней — контейнеризация, staging и деплой-окна с откатами ≤5 минут.
Резюме
Убрали 3 single point в релизах, подняли аптайм деплоя до 99.7%, откат ≤5 минут.
P1 — критично
2 риска
Деплой без staging и алертов. За 48 часов — аварийный регламент, Telegram-оповещения и контрольное окно релиза.
P2 — важно
3 задачи
Контейнеризация pipeline, staging, инфраструктурные тесты и лимиты ресурсов.
P3 — улучшения
2 инициативы
SLO/SLI с Grafana, каталог runbook'ов и квартальный ретро по инцидентам.
Сводка
Разделили pipeline на build/test/release, внедрили staging и preflight-чек для продакшна. Настроили промоушн через GitLab environments, RollingUpdate с прогревом и runbook'и для дежурных. Давление на команду снизилось, релизы стали повторяемыми и прозрачными для бизнеса.
Нет staging, миграции выполняются «горячо», откаты вручную. Решение: staged pipeline (build → smoke → staging → prod), freeze-window, чек-лист перед релизом, migration-job с auto rollback.
Критерий: релиз идёт через staging, на промоушн требуется зелёный smoke и подтверждение duty-инженера.
Prometheus собирает данные, но оповещений нет. В результате инциденты обнаруживают клиенты. Решение: готовы алерты по деплою, аптайму API, ошибкам 5xx, латентности, очередям. Доставляем в Telegram + Opsgenie.
Критерий: тестовый инцидент доставлен, MTTA < 3 мин.
Исторически CI использовал набор bash-скриптов. Перенесли сборку в Docker образы, добавили layer cache, артефакты и security scan (Trivy + SAST).
Подняли staging в Kubernetes с синхронизацией конфигов через Helm, анонимизировали прод-данные, добавили нагрузочный smoke.
Настроили resource quota per namespace, добавили liveness/readiness, перевели cron-задачи в Kubernetes Jobs, зафиксировали autoscaling правила.
Дистрибуция латентности, ошибки деплоя, MTTR. Графики в Grafana с weekly-дайджестом.
Каталог runbook'ов + квартальный пост-мортем: кто дежурит, как эскалировать, где хранятся дампы конфигурации.
Следующий шаг
Разберём ваш pipeline, построим staging и аварийный регламент, подключим мониторинг и команду поддержки.