BlackboxProbeFailed: что делать при алерте

Правило алерта

alert: BlackboxProbeFailed
expr: probe_success{job=~"blackbox.*"} == 0
for: 3m
severity: critical

Сообщение алерта: Сайт или сервис недоступен: {{ $labels.instance }}

Что значит

Проверка цели не проходит (probe_success == 0) 3 минуты подряд. Сайт или сервис недоступен либо отвечает не так, как ожидает модуль проверки.

Частые причины

Сервис упал, проблемы DNS, закрыт порт или файрвол, истёк/сломан TLS-сертификат, таймаут, неверный код ответа, не совпал ожидаемый текст ответа.

Диагностика

curl -sS -v -m 10 -o /dev/null https://example.com
dig +short example.com
openssl s_client -connect example.com:443 -servername example.com </dev/null 2>/dev/null | openssl x509 -noout -dates
curl -sS -m 10 'http://<exporter>:9115/probe?module=http_2xx&target=https://example.com&debug=true'

Параметр debug=true у blackbox-exporter возвращает подробный журнал проверки.

Как исправить

По результату диагностики: поднять сервис, исправить DNS или сертификат, открыть порт. Если ложные срабатывания из-за таймаута — увеличьте timeout в модуле blackbox.

Когда можно заглушить

При плановых работах или миграции сайта.