KubeStatefulSetReplicasMismatch: что делать при алерте

Правило алерта

alert: KubeStatefulSetReplicasMismatch
expr: kube_statefulset_replicas
  != kube_statefulset_status_replicas_ready
for: 15m
severity: warning

Сообщение алерта: StatefulSet {{ $labels.namespace }}/{{ $labels.statefulset }}: не все реплики готовы

Что значит

Число готовых реплик StatefulSet отличается от желаемого 15 минут. StatefulSet поднимает Pod по порядку, поэтому одна проблемная реплика блокирует остальные.

Частые причины

Pod не готов (readiness probe), том не привязывается, нехватка ресурсов, недоступен узел, в кластере БД не набирается кворум.

Диагностика

kubectl -n <ns> get statefulset <имя>
kubectl -n <ns> get pods -l <метки-селектора> -o wide
kubectl -n <ns> describe pod <имя>-<индекс>
kubectl -n <ns> get pvc
kubectl -n <ns> logs <имя>-<индекс> --previous

Как исправить

Устранить причину в проблемном Pod; проверить PVC и StorageClass; для БД — убедиться в состоянии репликации перед ручным удалением Pod. Без необходимости не удаляйте Pod StatefulSet с данными.

Когда можно заглушить

При запланированном масштабировании или обновлении по одной реплике.