NodeDown: что делать при алерте

Правило алерта

alert: NodeDown
expr: up{job=~"node.*"} == 0
for: 3m
severity: critical

Сообщение алерта: Хост {{ $labels.instance }} недоступен

Что значит

Prometheus 3 минуты не может снять метрики с node-exporter (up == 0). Это не обязательно падение сервера: может не работать только exporter или сетевой путь до него.

Частые причины

сервер выключен, завис или перезагружается;
сетевая проблема или правило файрвола между Prometheus и хостом (порт 9100);
сервис node-exporter остановлен или упал;
в scrape_configs указан неверный адрес.

Диагностика

ping -c 3 <хост>
curl -sS -m 5 http://<хост>:9100/metrics | head
ssh <хост> 'systemctl status node_exporter --no-pager'
ssh <хост> 'journalctl -u node_exporter -n 50 --no-pager'
ssh <хост> 'uptime; dmesg -T | tail -n 30'

Название юнита зависит от способа установки (node_exporter, prometheus-node-exporter).

Как исправить

Если сервер недоступен — разбираться с хостингом/консолью гипервизора. Если жив только сам сервер, запустите exporter: systemctl restart node_exporter, проверьте файрвол (ss -ltnp | grep 9100).

Когда можно заглушить

На время плановых работ или вывода хоста из эксплуатации (лучше удалить цель из конфигурации Prometheus).