gitlabRrunner无法使用S3缓存

Question

gitlab runner 无法使用S3缓存

gitlab runner 的pod info 的环境变量如下

 Environment:
      CI_SERVER_URL:             ****
      CLONE_URL:                 
      RUNNER_EXECUTOR:           kubernetes
      REGISTER_LOCKED:           false
      RUNNER_TAG_LIST:           k8s-runner
      RUNNER_OUTPUT_LIMIT:       4096
      KUBERNETES_IMAGE:          *****
      KUBERNETES_PRIVILEGED:     true
      KUBERNETES_POLL_TIMEOUT:   180
      KUBERNETES_HELPER_IMAGE:   ****
      KUBERNETES_PULL_POLICY:    always
      CACHE_TYPE:                s3
      CACHE_PATH:                runner
      CACHE_SHARED:              true
      CACHE_S3_SERVER_ADDRESS:   192.168.30.25:20004
      CACHE_S3_BUCKET_NAME:      gitlab-runner
      CACHE_S3_BUCKET_LOCATION:  
      CACHE_S3_INSECURE:         true

但是在实际运行过程中报错：

ERROR: error while generating S3 pre-signed URL error=Get "http://169.254.169.254/latest/meta-data/iam/security-credentials/%22: dial tcp 169.254.169.254:80: i/o timeout

为什么这里会去请求http://169.254.169.254/ 而不是 http://192.168.30.25:20004/.

如何配置缓存才能够生效

Answer 1

“Devil组”引证GPT后的撰写：

• 这个问题可能是由于 Amazon EC2 实例元数据服务在该节点的默认地址为 169.254.169.254，并且它正在被错误地用作 S3 服务器地址。要解决此问题，您需要检查 S3 服务器地址是否正确，并在 Kubernetes 集群中配置适当的网络策略以确保与 S3 的连接不会受到干扰。

为了配置 S3 缓存，请按照以下步骤进行操作：

首先，请确保在 Kubernetes 集群中正确配置了 kubectl 工具，并使用它来检查当前正在运行的 GitLab Runner pod 的详细信息：

$ kubectl get pods
NAME                         READY   STATUS    RESTARTS   AGE
gitlab-runner-5f59f4c4-h4z4f   1/1     Running   0          1d

然后，请获取 GitLab Runner pod 的详细信息，以查看其环境变量和配置文件：

$ kubectl describe pod gitlab-runner-5f59f4c4-h4z4f

确保在环境变量中设置了正确的 S3 缓存配置，例如 CACHE_S3_SERVER_ADDRESS、CACHE_S3_BUCKET_NAME 等。

检查网络策略是否正确，以确保可以访问 S3。您可以使用以下命令检查当前网络策略：

$ kubectl get networkpolicy

如果没有正确配置网络策略，请使用 kubectl 工具创建一个新的网络策略。

例如，以下是一个允许从 GitLab Runner pod 访问指定的 S3 存储桶的网络策略示例：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: s3-access
spec:
  podSelector:
    matchLabels:
      app: gitlab-runner
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: s3
    ports:
    - protocol: TCP
      port: 80

允许来自标记为 app: s3 的 pod 的 TCP 流量访问端口 80。

可以将此示例网络策略保存到名为 s3-access.yaml 的文件中，并使用以下命令在 Kubernetes 集群中创建它：

$ kubectl apply -f s3-access.yaml

确保在这个示例中，app: gitlab-runner 标签与 GitLab Runner pod 的 metadata.labels 属性匹配。

通过以上步骤检查和更新配置，应该可以成功使用 S3 缓存来加速 GitLab Runner 的构建和部署过程。