k8s如何获取客户端真实IP

Question

#后端网关拿到的IP是k8s-master节点的IP
#如何获取到客户端真实的IP、没有使用负载均衡

Answer 1

下午好🌅🌅🌅
本答案参考通义千问

在 Kubernetes（K8s）中，如果你的后端服务（如 Web 应用、API 服务等）没有使用负载均衡器（例如 Ingress 或 LoadBalancer 类型的服务），而是直接通过 NodePort 或 ClusterIP 暴露服务，那么客户端的真实 IP 可能会被代理或转换为 Kubernetes 节点的 IP，尤其是在使用了 kube-proxy 的情况下。

---

✅ 问题分析

当你通过 NodePort 暴露服务时，流量会经过 kube-proxy，它通常使用 iptables 或 ipvs 来进行流量转发。在这种情况下，后端服务看到的客户端 IP 是 Kubernetes 节点的 IP，而不是真实客户端的 IP。

---

🔍 如何获取客户端的真实 IP？

方法一：使用 X-Forwarded-For HTTP Header（推荐）

如果你的后端服务支持 HTTP 协议，并且可以通过 HTTP 头来获取客户端真实 IP，可以借助 X-Forwarded-For 这个标准 HTTP 头。

实现方式：

1. 配置反向代理（如 Nginx、HAProxy）
   如果你在 Kubernetes 集群外部署了一个反向代理（如 Nginx），可以在其配置中添加如下内容：

   location / {
       proxy_set_header Host $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       proxy_pass http://your-backend-service;
   }
   

2. 在后端服务中读取 X-Forwarded-For
   后端服务可以从请求头中获取 X-Forwarded-For，其中第一个 IP 就是客户端的真实 IP。

   示例代码（Python Flask）：

   from flask import request
   
   @app.route('/')
   def index():
       real_ip = request.headers.get('X-Forwarded-For', request.remote_addr)
       return f"Client IP: {real_ip}"
   

---

方法二：使用 kube-proxy 的 --masquerade-all 参数（不推荐）

默认情况下，kube-proxy 会将流量从外部源地址转换为节点的 IP，这会导致后端服务无法看到真实的客户端 IP。

你可以尝试关闭 --masquerade-all 参数，但这可能会导致一些网络问题。

修改 kube-proxy 的启动参数：

# 修改 kube-proxy 的 DaemonSet
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-proxy
spec:
  template:
    spec:
      containers:
      - name: kube-proxy
        args:
        - --masquerade-all=false

⚠️ 注意：这个方法可能会影响集群的网络稳定性，建议仅在特定场景下使用。

---

方法三：使用 ipvs 替代 iptables（推荐）

kube-proxy 支持使用 ipvs 作为后端，相比 iptables，ipvs 更适合大规模集群，并且保留原始客户端 IP。

步骤：

1. 确保你的 Kubernetes 版本 >= 1.10，并且内核版本 >= 4.17。

2. 在 kube-proxy 的配置中启用 ipvs：

   apiVersion: kubeproxy.config.k8s.io/v1alpha1
   kind: KubeProxyConfiguration
   mode: "ipvs"
   

3. 重启 kube-proxy：

   kubectl delete pod -n kube-system -l k8s-app=kube-proxy
   

📌 使用 ipvs 模式后，后端服务可以直接看到客户端的真实 IP。

---

方法四：使用 Service 的 externalTrafficPolicy（适用于 ClusterIP 和 NodePort）

在 Kubernetes 中，Service 的 externalTrafficPolicy 属性决定了流量如何被路由到后端 Pod。

• Cluster（默认）：流量会被 kube-proxy 转换为节点 IP，导致后端看不到真实 IP。
• Local：流量直接发送到本地的 Pod，保留原始客户端 IP。

示例配置：

apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  type: NodePort
  externalTrafficPolicy: Local
  ports:
    - port: 80
      targetPort: 80
  selector:
    app: my-app

⚠️ 使用 externalTrafficPolicy: Local 时，如果某个节点上没有对应的 Pod，则该节点不会接收流量，需要确保每个节点都有副本。

---

✅ 总结：获取客户端真实 IP 的步骤

1. 使用 HTTP 反向代理（如 Nginx）并设置 X-Forwarded-For 头

   • 在代理层记录客户端 IP
   • 后端服务读取 X-Forwarded-For 头

2. 启用 ipvs 模式

   • 提高性能，保留原始 IP

3. 设置 externalTrafficPolicy: Local

   • 直接将流量发送到本地 Pod，保留客户端 IP

4. 避免使用 --masquerade-all=true

   • 避免流量被伪装为节点 IP

---

🧩 附加说明：如果没有反向代理怎么办？

如果你的后端服务是通过 NodePort 直接暴露，而没有反向代理，建议考虑以下方案：

• 部署一个 Ingress 控制器（如 Nginx Ingress），并在其中设置 X-Forwarded-For
• 使用 Service 的 externalTrafficPolicy: Local
• 使用 ipvs 模式替代 iptables

---

📝 示例：修改 kube-proxy 为 ipvs 模式

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "ipvs"

然后更新 kube-proxy 的配置：

kubectl apply -f kube-proxy-config.yaml
kubectl delete pod -n kube-system -l k8s-app=kube-proxy

---

✅ 最终建议

| 方案 | 是否推荐 | 说明 | |------|----------|------| | 使用 X-Forwarded-For + 反向代理 | ✅ 推荐 | 最通用、最安全的方法 | | 使用 ipvs 模式 | ✅ 推荐 | 提高性能，保留真实 IP | | 设置 externalTrafficPolicy: Local | ✅ 推荐 | 保留真实 IP，但需注意 Pod 分布 | | 关闭 --masquerade-all | ❌ 不推荐 | 可能引发网络问题 |

---

如有更多关于 Kubernetes 网络的问题，欢迎继续提问！