BlackboxSlowResponse: что делать при алерте

Правило алерта

alert: BlackboxSlowResponse
expr: avg_over_time(probe_duration_seconds{job=~"blackbox.*"}[5m]) > 2 and probe_success{job=~"blackbox.*"} == 1
for: 10m
severity: warning

Сообщение алерта: Медленный ответ: {{ $labels.instance }}

Что значит

Среднее время проверки за 5 минут превышает 2 секунды в течение 10 минут, при этом проверка успешна. Сайт отвечает, но медленно.

Частые причины

Нагрузка на сервер или БД, медленные внешние API, сетевые проблемы или DNS, ошибки кэширования, большие страницы.

Диагностика

curl -sS -o /dev/null -w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' https://example.com

Затем смотрите состояние самого сервера: NodeCpuHigh, NodeIowaitHigh, логи приложения и БД.

Как исправить

Исходя из того, какая фаза в curl медленная: DNS, соединение, TLS или ожидание ответа приложения. Оптимизировать запросы, добавить кэш, ресурсы.

Когда можно заглушить

Если порог 2 с слишком строг для данного сервиса — поднимите его в правиле. Заглушка допустима на время известной нагрузки.