BlackboxExporterDown: что делать при алерте

Правило алерта

alert: BlackboxExporterDown
expr: up{job=~"blackbox.*"} == 0
for: 3m
severity: critical

Сообщение алерта: Проверка {{ $labels.instance }} не выполняется

Что значит

Prometheus не получает ответа от blackbox-exporter при проверке цели (up == 0) 3 минуты. Проверка сайта не выполняется, поэтому остальные алерты blackbox молчат.

Частые причины

Сервис blackbox-exporter остановлен, неверный адрес exporter в relabel_configs (параметр replacement), файрвол, ошибка в конфигурации модуля.

Диагностика

systemctl status prometheus-blackbox-exporter --no-pager     # либо ваше имя юнита
curl -sS -m 10 'http://<exporter>:9115/probe?module=http_2xx&target=https://example.com' | head -n 20
journalctl -u prometheus-blackbox-exporter -n 50 --no-pager

Для Docker/Kubernetes используйте docker logs / kubectl logs соответствующего Pod.

Как исправить

Запустить exporter, исправить адрес и порт (по умолчанию 9115) в конфигурации Prometheus, проверить синтаксис blackbox.yml.

Когда можно заглушить

На время обновления exporter.