Grafana无法显示Prometheus数据源指标

Question

Grafana无法显示Prometheus数据源指标时，常见问题是数据源连接配置错误。典型表现为Grafana面板无数据或提示“no data in query”。需检查Prometheus数据源的URL、访问方式（如代理或直连）、认证信息（如Bearer Token）是否正确配置。此外，跨域问题或防火墙限制也可能导致请求失败。确认Prometheus服务正常运行并通过浏览器可访问`/metrics`接口是排查基础。

Answer 1

1. 问题现象与初步定位

当Grafana无法显示Prometheus数据源的指标时，最常见的表现是面板中出现“no data in query”提示，或图表完全空白。该问题通常源于数据源连接配置错误，导致Grafana无法从Prometheus拉取有效的时间序列数据。

• 用户在添加Prometheus作为数据源后未验证连接状态
• URL填写错误，如端口遗漏（默认为9090）或路径拼写错误
• Prometheus服务未运行或网络不可达

初步排查应从确认Prometheus服务是否正常启动开始，并通过浏览器直接访问http://<prometheus-host>:9090/metrics接口验证其可访问性。

2. 数据源配置深度分析

配置项	常见错误	正确示例
URL	使用localhost而非实际IP，跨主机部署失效	http://192.168.1.100:9090
Access	直连模式下跨域被阻断	Browser（需CORS支持）或 Server（推荐代理）
Auth Type	忽略Bearer Token认证	选择Bearer Token并填入有效token

在Grafana中配置Prometheus数据源时，必须确保“Access”方式与部署架构匹配：若前端需直连Prometheus，则需开启CORS；否则建议使用Server模式（即Grafana后端代理请求），避免浏览器安全策略限制。

3. 认证与安全机制排查

现代生产环境中，Prometheus常置于反向代理（如Nginx、Traefik）之后，并启用身份验证机制。若未正确配置Bearer Token或HTTP Basic Auth，Grafana将无法通过鉴权。

# 示例：Nginx配置片段
location /prometheus/ {
    proxy_pass http://localhost:9090/;
    auth_request /validate-jwt;
    proxy_set_header Authorization "Bearer <your-token>";
}

此时应在Grafana数据源设置中启用“With Credentials”并填写正确的Token。可通过curl命令模拟请求进行调试：

curl -H "Authorization: Bearer xyz123" http://prometheus.example.com/api/v1/query?query=up

4. 网络与防火墙层面检查

1. 确认Grafana服务器能通过TCP访问Prometheus的9090端口
2. 使用telnet或nc测试连通性：telnet prometheus-host 9090
3. 检查iptables/firewalld规则是否放行相应端口
4. 云环境需查看安全组策略（如AWS Security Group）
5. Docker/Kubernetes环境注意Service暴露方式和Pod网络策略

尤其在混合部署场景中，容器间网络隔离可能导致Grafana容器无法访问Prometheus服务，需借助kubectl exec进入Pod内部进行诊断。

5. 跨域（CORS）与代理配置流程图

graph TD A[Grafana前端发起请求] --> B{Access Mode = Browser?} B -->|Yes| C[浏览器发送请求至Prometheus] C --> D[是否允许CORS?] D -->|No| E[请求被拦截 → no data] D -->|Yes| F[返回指标数据] B -->|No| G[Grafana后端代理请求] G --> H[携带认证头转发] H --> I[Prometheus返回数据] I --> J[Grafana渲染图表]

上图展示了两种访问模式下的请求路径差异。采用Server模式可规避大部分CORS问题，是企业级部署的推荐方案。

6. 日志与API调试手段

深入排查时应结合多维度日志：

• Grafana日志路径：/var/log/grafana/grafana.log，关注tsdb/prometheus相关错误
• Prometheus访问日志：查看是否有来自Grafana的查询请求
• 利用API手动测试查询：GET /api/datasources/proxy/<id>/api/v1/query?query=up

通过Grafana的“Explore”功能可独立于仪表板测试查询语句，快速判断问题是出在数据源还是面板配置。