NodeCpuHigh: что делать при алерте

Правило алерта

alert: NodeCpuHigh
expr: 100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100 > 90
for: 15m
severity: warning

Сообщение алерта: Высокая загрузка CPU ({{ $labels.instance }})

Что значит

Средняя загрузка CPU по всем ядрам выше 90% в течение 15 минут.

Частые причины

Пик трафика, зациклившийся процесс, тяжёлый бэкап/сжатие/сборка, майнер после взлома, недостаток ядер под нагрузку.

Диагностика

top -b -n 1 | head -n 15
ps aux --sort=-%cpu | head -n 10
pidstat 1 5               # пакет sysstat
docker stats --no-stream

Как исправить

Остановить виновника или ограничить (nice, cpulimit, лимиты cgroup/Docker), оптимизировать запросы, добавить ядер/узлов. Неизвестный процесс с высокой загрузкой проверьте на компрометацию.

Когда можно заглушить

Для хостов, предназначенных для пакетных расчётов, где 100% CPU — норма: исключите их или поднимите порог.