wm4414 2017-11-15 04:51 采纳率: 0%
浏览 1269
已结题

nginx proxy_cache有问题,浏览器访问正常缓存,爬虫curl抓取全部绕过?

ngnix反向代理。

http配置:
add_header X-Cache-Status $upstream_cache_status;
proxy_cache_path /var/cache/nginx/w levels=1:2 keys_zone=w:150m inactive=10d max_size=10G;
proxy_cache_path /var/cache/nginx/m levels=1:2 keys_zone=m:150m inactive=10d max_size=10G;
proxy_cache_key $host$uri$is_args$args;
proxy_cache_valid 200 1h;
proxy_cache_methods GET;

server中调用配置:
proxy_cache w;
对应移动站调用配置:
proxy_cache m;

两个server都配置:
proxy_ignore_headers X-Accel-Expires Expires Cache-Control Set-Cookie;

同一URL,pc和wap浏览器访问都能正常缓存,各种搜索引擎爬虫抓取,却全部绕过,直接访问上游。
发现问题后自己测试,不同ip主机,同一个URL,不清空缓存重复curl访问,第一次访问都是MISS,第二次才HIT?
完全搞不懂了,求大神指点迷津。

  • 写回答

1条回答

  • qq_35452320 2018-08-18 03:11
    关注

    试试普通采集,现在很多站不支持CURL访问,会出现反复加载的问题

    评论

报告相同问题?

悬赏问题

  • ¥30 这是哪个作者做的宝宝起名网站
  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!