KubeletDown: что делать при алерте

Правило алерта

alert: KubeletDown
expr: up{job="kubelet"} == 0
for: 5m
severity: critical

Сообщение алерта: Kubelet недоступен ({{ $labels.instance }})

Что значит

Prometheus не получает метрики kubelet с узла 5 минут. Узел мог выйти из строя, либо kubelet остановился, либо нарушена сеть до порта 10250.

Частые причины

Узел выключен, kubelet упал, истёк сертификат kubelet, сетевая блокировка, узел удалён из кластера, но остался в targets.

Диагностика

kubectl get nodes -o wide
kubectl describe node <узел>
ssh <узел> 'systemctl status kubelet --no-pager; journalctl -u kubelet -n 100 --no-pager'

Как исправить

Перезапустить kubelet (systemctl restart kubelet), восстановить узел, проверить сертификаты. Если узел удалён намеренно — уберите его из scrape-целей.

Когда можно заглушить

При выводе узла из кластера (drain).