NodeIowaitHigh: что делать при алерте

Правило алерта

alert: NodeIowaitHigh
expr: avg by (instance) (rate(node_cpu_seconds_total{mode="iowait"}[5m])) * 100 > 30
for: 15m
severity: warning

Сообщение алерта: Процессор простаивает в ожидании диска ({{ $labels.instance }})

Что значит

Процессор тратит более 30% времени на ожидание завершения дисковых операций. Диск (или сетевое хранилище) является узким местом.

Частые причины

Тяжёлые запросы к БД, бэкап/копирование, деградация диска или RAID, перегруженное облачное хранилище, активный swap, NFS недоступен.

Диагностика

iostat -x 1 5              # пакет sysstat: смотрите %util и await
iotop -oPa                 # кто пишет/читает
vmstat 1 5                 # столбцы wa, si, so
dmesg -T | grep -i -E 'i/o error|ata|nvme|blk_update' | tail
smartctl -H /dev/sda       # пакет smartmontools

Как исправить

Остановить или ограничить виновника (ionice -c3), разнести нагрузку по дискам, оптимизировать запросы/индексы, заменить сбойный диск, увеличить IOPS у облачного тома.

Когда можно заглушить

На время запланированного бэкапа или перестроения RAID.