天翼网关缓存堆积致网速下降，重启后恢复

Question

问题：天翼网关在长时间运行后出现缓存堆积，导致NAT表项耗尽、数据包处理延迟增加，引发用户上网卡顿、视频缓冲慢、游戏延迟高等现象。重启设备后网络恢复正常，但数日后问题复现。此问题多因固件对连接跟踪（conntrack）缓存管理不善所致，尤其在多设备接入或P2P应用频繁使用场景下更为明显。如何在不频繁重启的前提下实现缓存自动清理与性能稳定？

Answer 1

天翼网关Conntrack缓存堆积问题深度解析与自动化治理方案

1. 问题背景与现象分析

天翼网关作为家庭宽带接入的核心设备，承担着路由、NAT转换、防火墙等关键功能。在多设备并发使用（如智能家居、手机、平板、游戏主机）及P2P应用（如BT下载、视频直播推流）频繁的场景下，其连接跟踪机制（conntrack）极易因长时间运行导致缓存表项堆积。

典型表现为：

• NAT表项耗尽，新连接无法建立
• 数据包处理延迟上升，TCP重传率增加
• 用户感知为网页加载慢、视频缓冲卡顿、在线游戏延迟飙升
• 重启后恢复正常，但数日内问题复现

该问题根源在于固件层对conntrack生命周期管理不完善，尤其在老化策略缺失或配置不合理时更为突出。

2. 技术原理：Conntrack工作机制与瓶颈

Linux内核中的nf_conntrack模块用于维护所有网络连接的状态信息，每条连接占用一个表项。默认最大表项数由nf_conntrack_max控制，常见值为8192或16384。

当连接未正常关闭（如客户端崩溃、防火墙拦截FIN包），或P2P产生大量短时连接时，conntrack表迅速填满且无法及时释放。

参数名称	默认值	作用说明
nf_conntrack_max	8192	最大连接跟踪数
nf_conntrack_tcp_timeout_established	432000秒（5天）	TCP已建立连接超时时间
nf_conntrack_udp_timeout	30秒	UDP连接超时
nf_conntrack_generic_timeout	600秒	其他协议超时
nf_conntrack_expect_max	1024	预期连接最大数

3. 诊断流程与监控方法

为定位问题，需通过以下步骤进行系统级排查：

1. 登录天翼网关SSH（需开发者模式或超级管理员权限）
2. 执行命令查看当前conntrack使用情况：
   cat /proc/sys/net/netfilter/nf_conntrack_count
3. 对比最大容量：
   cat /proc/sys/net/netfilter/nf_conntrack_max
4. 检查实时连接列表：
   conntrack -L | head -20
5. 监控一段时间内的增长趋势，判断是否持续逼近上限
6. 分析日志中是否存在“nf_conntrack: table full”类警告
7. 使用脚本定期记录并绘制趋势图，辅助决策

4. 核心解决方案：参数调优与自动清理机制

针对conntrack缓存堆积，可从三个维度实施优化：

4.1 内核参数调优

修改/etc/sysctl.conf或直接写入/proc文件系统：

# 缩短TCP连接保持时间（原5天→1小时）
net.netfilter.nf_conntrack_tcp_timeout_established = 3600

# 降低UDP超时（适用于DNS、VoIP等）
net.netfilter.nf_conntrack_udp_timeout = 15

# 增加最大连接数（若内存允许）
net.netfilter.nf_conntrack_max = 16384

# 启用哈希表动态扩容
net.netfilter.nf_conntrack_buckets = 4096
    

执行sysctl -p使配置生效。

4.2 定时自动清理脚本

编写Shell脚本实现阈值触发式清理：

#!/bin/sh
MAX_CONN=12000
CURRENT=$(cat /proc/sys/net/netfilter/nf_conntrack_count)

if [ $CURRENT -gt $MAX_CONN ]; then
    logger "Conntrack cleanup triggered: $CURRENT entries"
    conntrack -C  # 清空计数器（部分版本支持）
    conntrack -F  # 刷新整个表（慎用）
    # 更安全方式：删除超时或无效连接
    conntrack -D -f tcp --timeout > 3600 2>/dev/null || true
fi
    

配合cron任务每5分钟执行一次：
*/5 * * * * /root/cleanup_conntrack.sh

5. 高级治理策略：流量分类与连接节流

对于P2P等高连接消耗型应用，建议结合iptables进行连接限制：

# 限制单个IP的并发连接数
iptables -A FORWARD -p tcp --syn -m connlimit --connlimit-above 100 -j DROP

# 对特定端口（如BT常用端口）限流
iptables -A FORWARD -p tcp --dport 6881:6999 -m limit --limit 10/minute -j ACCEPT
    

6. 可视化与自动化运维架构设计

构建基于Prometheus + Grafana的监控体系，采集conntrack指标并通过告警触发自动修复。

流程图如下：

graph TD
            A[采集conntrack_count] --> B{是否超过阈值?}
            B -- 是 --> C[执行conntrack -F 或限流规则]
            B -- 否 --> D[继续监控]
            C --> E[发送告警通知]
            E --> F[记录日志到ELK]
            F --> G[生成报表供运维分析]

7. 固件层面改进建议（厂商视角）

从长期看，应推动设备厂商在固件中集成智能conntrack管理模块：

• 默认启用合理的老化时间
• 内置连接数预警与自动回收机制
• 提供Web界面查看conntrack状态
• 支持按应用类型差异化管理连接生命周期
• 集成轻量级监控代理（如Telegraf）
• OTA升级推送优化后的conntrack策略
• 在设备资源紧张时主动拒绝异常连接爆发