NodeDiskWillFill: что делать при алерте

Правило алерта

alert: NodeDiskWillFill
expr: predict_linear(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"}[6h], 24 * 3600) < 0
and node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"}
  / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"} * 100 < 40
and node_filesystem_readonly{fstype!~"tmpfs|overlay|squashfs|devtmpfs|ramfs|iso9660|autofs|fuse.*|nfs.*|cifs"} == 0
for: 1h
severity: warning

Сообщение алерта: Диск {{ $labels.mountpoint }} заполнится в ближайшие сутки ({{ $labels.instance }})

Что значит

По линейному тренду за последние 6 часов (predict_linear) место на разделе закончится в ближайшие 24 часа. Правило срабатывает только если свободно меньше 40%, чтобы не шуметь на больших пустых дисках.

Частые причины

аномальный рост логов или БД;
запущенная выгрузка, бэкап или импорт данных;
утечка временных файлов.

Диагностика

df -h <mountpoint>
du -xh --max-depth=2 <mountpoint> 2>/dev/null | sort -h | tail -n 20
find <mountpoint> -xdev -type f -mmin -60 -size +100M -exec ls -lh {} +

Сравните график node_filesystem_avail_bytes за последние 6–24 часа: рост равномерный или скачок.

Как исправить

Найти и остановить источник роста, добавить ротацию, расширить диск. Если запись одноразовая (импорт), оцените, хватит ли места до конца операции.

Когда можно заглушить

Если рост разовый и известен (миграция, импорт), а места заведомо хватит. Тогда поставьте заглушку на несколько часов, не на дни.