KubePvcAlmostFull: что делать при алерте

Правило алерта

alert: KubePvcAlmostFull
expr: kubelet_volume_stats_available_bytes
  / kubelet_volume_stats_capacity_bytes * 100 < 15
and kubelet_volume_stats_capacity_bytes > 0
for: 10m
severity: warning

Сообщение алерта: PVC {{ $labels.namespace }}/{{ $labels.persistentvolumeclaim }} заполнен

Что значит

На томе PersistentVolumeClaim свободно менее 15%. Метрики берутся из kubelet и доступны не для всех типов томов.

Частые причины

Рост БД или логов, отсутствие ротации, накопившиеся дампы и временные файлы.

Диагностика

kubectl -n <ns> get pvc <имя>
kubectl -n <ns> get pods -o wide | grep <pod-использующий-том>
kubectl -n <ns> exec <pod> -- df -h <путь-монтирования>
kubectl -n <ns> exec <pod> -- du -xh --max-depth=2 <путь-монтирования>
kubectl get storageclass

Как исправить

Очистить ненужное или расширить PVC (если StorageClass поддерживает allowVolumeExpansion: true): kubectl -n <ns> patch pvc <имя> -p '{"spec":{"resources":{"requests":{"storage":"<новый-размер>"}}}}'. Размер уменьшить нельзя.

Когда можно заглушить

Если рост разовый и расширение запланировано.