wm4414 2017-11-15 04:51 采纳率: 0%
浏览 1269
已结题

nginx proxy_cache有问题,浏览器访问正常缓存,爬虫curl抓取全部绕过?

ngnix反向代理。

http配置:
add_header X-Cache-Status $upstream_cache_status;
proxy_cache_path /var/cache/nginx/w levels=1:2 keys_zone=w:150m inactive=10d max_size=10G;
proxy_cache_path /var/cache/nginx/m levels=1:2 keys_zone=m:150m inactive=10d max_size=10G;
proxy_cache_key $host$uri$is_args$args;
proxy_cache_valid 200 1h;
proxy_cache_methods GET;

server中调用配置:
proxy_cache w;
对应移动站调用配置:
proxy_cache m;

两个server都配置:
proxy_ignore_headers X-Accel-Expires Expires Cache-Control Set-Cookie;

同一URL,pc和wap浏览器访问都能正常缓存,各种搜索引擎爬虫抓取,却全部绕过,直接访问上游。
发现问题后自己测试,不同ip主机,同一个URL,不清空缓存重复curl访问,第一次访问都是MISS,第二次才HIT?
完全搞不懂了,求大神指点迷津。

  • 写回答

1条回答 默认 最新

  • qq_35452320 2018-08-18 03:11
    关注

    试试普通采集,现在很多站不支持CURL访问,会出现反复加载的问题

    评论

报告相同问题?

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器