NodeDiskSpaceLow: что делать при алерте

Правило алерта

alert: NodeDiskSpaceLow
expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"}
  / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"} * 100 < 15
and node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"} > 0
and node_filesystem_readonly{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"} == 0
for: 10m
severity: warning

Сообщение алерта: Мало места на {{ $labels.mountpoint }} ({{ $labels.instance }})

Что значит

На разделе осталось меньше 15% свободного места (учитывается место, доступное непривилегированным процессам). Реальных последствий ещё нет, но запас сокращается.

Частые причины

рост логов без ротации;
накопление образов и слоёв Docker, дампов, бэкапов, кэшей пакетного менеджера;
рост базы данных;
удалённый файл, который держит открытым работающий процесс (место не освобождается).

Диагностика

df -hT
du -xh --max-depth=1 / 2>/dev/null | sort -h | tail -n 15
du -xh --max-depth=1 /var 2>/dev/null | sort -h | tail -n 10
journalctl --disk-usage
docker system df          # если на хосте есть Docker
lsof +L1 | head           # удалённые, но открытые файлы

Как исправить

Настройте ротацию логов (logrotate, journalctl --vacuum-size=500M), удалите ненужное (apt clean / dnf clean all, docker image prune), перенесите данные на другой диск или расширьте том. Процессы с удалёнными открытыми файлами перезапустите.

Когда можно заглушить

Для разделов, которые заполняются штатно и очищаются самим приложением (например, кэш), — лучше исключить такой mountpoint в выражении правила. Временная заглушка допустима, если расширение диска уже запланировано.