Ubuntu双网卡同网段导致路由冲突，如何避免？

Question

在Ubuntu系统中，若两块网卡（如eth0和eth1）配置在同一子网（例如均设为192.168.1.0/24），内核会为该网络生成两条重复的直连路由（`dev eth0` 和 `dev eth1`），导致出向流量随机选择接口（受FIB查找与ARP响应影响），引发连接不稳定、SSH中断、服务不可达等问题。更严重的是，入向响应可能经另一网卡返回，违反对称路由原则，触发状态防火墙丢包。此非“负载均衡”，而是路由冲突。常见误操作包括：手动配置双IP、NetworkManager自动接管、或Docker/VM桥接残留配置。根本原因在于Linux默认启用`rp_filter=1`但未配合策略路由，且内核不禁止同网段多接口绑定。如何避免？关键不在禁用冲突检测，而在于**明确分离职责**：禁用次要接口的IP层（仅用作交换/旁路）、改用策略路由+源地址选择，或物理/逻辑隔离网段。下文将详解三种生产级规避方案。

Answer 1

```html

一、现象层：识别双网卡同子网引发的路由冲突（What）

在Ubuntu 20.04+系统中，当eth0与eth1均配置为192.168.1.10/24和192.168.1.11/24时，执行ip route show 192.168.1.0/24将返回两条直连路由：

192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.10
192.168.1.0/24 dev eth1 proto kernel scope link src 192.168.1.11

Linux内核FIB（Forwarding Information Base）对等价前缀不区分优先级，导致出向流量按哈希随机分发至任一接口；而ARP响应由最先收到请求的接口发出，进一步加剧路径不对称。实测中SSH会话在30–90秒内因TCP重传超时中断，tcpdump -i any port 22可清晰捕获SYN包从eth0发出、SYN-ACK却从eth1返回的异常帧。

二、机理层：深入内核网络栈与策略缺失（Why）

根本症结在于三层职责错配：
① rp_filter=1（默认启用）强制入向包必须经“最佳返回路径”接口到达，但无对应出向源地址绑定机制；
② 内核允许多接口绑定同一子网（net.ipv4.conf.all.accept_local=0不阻止此行为）；
③ NetworkManager或Docker桥接（如docker0自动添加172.17.0.0/16）残留配置常被忽略；
④ 未启用策略路由（Policy-Based Routing, PBR），导致无法基于源IP或应用标记分流。

下表对比三种典型误操作触发场景：

诱因类型	典型表现	检测命令
手动双IP配置	/etc/netplan/*.yaml中为两接口设相同subnet	ip addr show | grep 'inet.*192\.168\.1\.'
NetworkManager接管	GUI设置后生成/run/NetworkManager/system-connections/残留	nmcli device show | grep IP4.ADDRESS
Docker桥接残留	brctl show显示docker0与物理网卡同网段	ip route | grep docker0

三、方案层：生产级规避的三大正交路径（How）

方案1：剥离次要接口IP层（交换旁路模式）
禁用eth1的IPv4协议栈，仅作二层透传：

sudo ip link set eth1 down
sudo ip addr flush dev eth1
sudo sysctl -w net.ipv4.conf.eth1.disable_ipv4=1
# 永久生效：echo 'net.ipv4.conf.eth1.disable_ipv4 = 1' >> /etc/sysctl.conf

此时eth1仍可承载VLAN、DPDK或OVS流表，但不再参与三层路由决策。

方案2：策略路由+源地址选择（PBR精准控制）
创建独立路由表table 200 eth1_route并绑定源地址：

echo "200 eth1_route" | sudo tee -a /etc/iproute2/rt_tables
sudo ip rule add from 192.168.1.11/32 table eth1_route
sudo ip route add default via 192.168.1.1 dev eth1 table eth1_route
sudo ip route add 192.168.1.0/24 dev eth1 scope link src 192.168.1.11 table eth1_route

配合sysctl强化源地址绑定：

sudo sysctl -w net.ipv4.conf.eth1.src_valid_mark=1
sudo sysctl -w net.ipv4.conf.all.arp_ignore=1
sudo sysctl -w net.ipv4.conf.all.arp_announce=2

方案3：逻辑隔离+VLAN子网划分（推荐长期架构）
通过802.1Q将单物理网段切分为逻辑子网，彻底消除路由冲突：

graph LR
  A[物理交换机] -->|Trunk: VLAN10/VLAN20| B(ubuntu-server)
  B --> C[eth0.10 -- 192.168.10.0/24]
  B --> D[eth1.20 -- 192.168.20.0/24]
  C --> E[业务服务]
  D --> F[管理/备份流量]
  

图：VLAN逻辑隔离拓扑（避免任何同子网多接口）

四、验证层：闭环检测与可观测性加固

部署后须执行四重校验：

1. 检查直连路由唯一性：ip route show to match 192.168.1.0/24 | wc -l → 输出应为1
2. 验证策略路由生效：ip rule show | grep eth1_route
3. 抓包确认对称性：sudo tcpdump -i eth0 -n 'host 192.168.1.1 and port 22' && sudo tcpdump -i eth1 -n 'host 192.168.1.1 and port 22'
4. 防火墙状态跟踪：sudo conntrack -E -d 192.168.1.1 | grep -E '(ESTABLISHED|ASSURED)'

建议将上述检测集成至Prometheus+Node Exporter，通过node_network_route_scope指标监控直连路由数量。

```