NodeLoadHigh: что делать при алерте

Правило алерта

alert: NodeLoadHigh
expr: node_load5 / on (instance) count by (instance) (node_cpu_seconds_total{mode="idle"}) > 2
for: 15m
severity: warning

Сообщение алерта: Высокий load average ({{ $labels.instance }})

Что значит

Load average за 5 минут больше чем в 2 раза превышает число ядер в течение 15 минут. В load входят и процессы, ждущие CPU, и процессы в состоянии uninterruptible sleep (обычно ждут диск/NFS).

Частые причины

Перегрузка CPU, медленный диск или сеть (NFS), процессы в D-состоянии, слишком много параллельных задач.

Диагностика

uptime
nproc
top -b -n 1 | head -n 15
ps -eo state,pid,cmd | awk '$1 ~ /D/' | head          # процессы в D-состоянии
iostat -x 1 3

Как исправить

Если высокий %CPU — действуйте как в NodeCpuHigh; если много D-состояний — ищите проблему с диском/NFS, как в NodeIowaitHigh.

Когда можно заглушить

Если это известная пакетная нагрузка в нерабочее время.