KubeStateMetricsDown: что делать при алерте

Правило алерта

alert: KubeStateMetricsDown
expr: up{job=~"kube-state-metrics.*"} == 0
for: 5m
severity: critical

Сообщение алерта: kube-state-metrics недоступен ({{ $labels.instance }})

Что значит

Prometheus не может снять метрики с kube-state-metrics в течение 5 минут. Все алерты о Pod, Deployment, StatefulSet, DaemonSet, Job, HPA и узлах в этот период слепы.

Частые причины

Pod kube-state-metrics упал или переселяется, сетевая политика блокирует scrape, изменилось имя Service/ServiceMonitor, кончились ресурсы кластера.

Диагностика

kubectl -n <ns> get pods -l app.kubernetes.io/name=kube-state-metrics
kubectl -n <ns> describe pod -l app.kubernetes.io/name=kube-state-metrics
kubectl -n <ns> logs -l app.kubernetes.io/name=kube-state-metrics --tail=100
kubectl -n <ns> get servicemonitor,endpoints | grep -i state-metrics

Как исправить

Устранить причину падения Pod (OOM, права RBAC, образ), вернуть ServiceMonitor/Service в рабочее состояние, при нехватке памяти поднять лимиты.

Когда можно заглушить

Во время обновления kube-prometheus-stack.