NodeNetworkErrors: что делать при алерте

Правило алерта

alert: NodeNetworkErrors
expr: sum by (instance, device) (
  rate(node_network_receive_errs_total{device!~"lo|veth.*"}[5m])
  + rate(node_network_transmit_errs_total{device!~"lo|veth.*"}[5m])
) > 1
for: 10m
severity: warning

Сообщение алерта: Ошибки на сетевом интерфейсе {{ $labels.device }} ({{ $labels.instance }})

Что значит

На сетевом интерфейсе (кроме lo и veth*) более 1 ошибки приёма или передачи в секунду на протяжении 10 минут. Счётчик errs — это ошибки уровня драйвера/канала, а не обычные сбросы пакетов.

Частые причины

Плохой кабель или порт коммутатора, несовпадение duplex/скорости, проблемы с драйвером или виртуальной сетью на хостинге, перегруженный интерфейс.

Диагностика

ip -s link show <интерфейс>
ethtool -S <интерфейс> | grep -i -E 'err|drop|crc|fifo'
ethtool <интерфейс>                    # скорость и duplex
dmesg -T | grep -i <интерфейс> | tail

Как исправить

Заменить кабель/порт, согласовать скорость/duplex, обновить драйвер или прошивку, обратиться к хостинг-провайдеру для виртуальных машин.

Когда можно заглушить

Для интерфейсов, не используемых в работе (например, служебные мосты): исключите их по метке device в выражении.