KubeNodeNotReady: что делать при алерте

Правило алерта

alert: KubeNodeNotReady
expr: kube_node_status_condition{condition="Ready",status="true"} == 0
for: 5m
severity: critical

Сообщение алерта: Узел {{ $labels.node }} в состоянии NotReady

Что значит

Узел не сообщает состояние Ready в течение 5 минут. Kubernetes прекращает планировать на него Pod и через некоторое время начнёт эвакуацию.

Частые причины

Узел выключен или завис, kubelet остановлен, сеть между узлом и API-сервером, нехватка ресурсов на узле, ошибка container runtime.

Диагностика

kubectl get nodes -o wide
kubectl describe node <узел>                    # Conditions и Events
kubectl get pods -A -o wide --field-selector spec.nodeName=<узел>
ssh <узел> 'systemctl status kubelet containerd --no-pager; journalctl -u kubelet -n 100 --no-pager'
ssh <узел> 'df -h; free -h; uptime'

Как исправить

Перезапустить kubelet/container runtime, освободить диск и память, перезагрузить или заменить узел. При необходимости выполните kubectl drain <узел> --ignore-daemonsets --delete-emptydir-data.

Когда можно заглушить

При плановых работах на узле.