wm4414 2017-11-15 04:51 采纳率: 0%
浏览 1269
已结题

nginx proxy_cache有问题,浏览器访问正常缓存,爬虫curl抓取全部绕过?

ngnix反向代理。

http配置:
add_header X-Cache-Status $upstream_cache_status;
proxy_cache_path /var/cache/nginx/w levels=1:2 keys_zone=w:150m inactive=10d max_size=10G;
proxy_cache_path /var/cache/nginx/m levels=1:2 keys_zone=m:150m inactive=10d max_size=10G;
proxy_cache_key $host$uri$is_args$args;
proxy_cache_valid 200 1h;
proxy_cache_methods GET;

server中调用配置:
proxy_cache w;
对应移动站调用配置:
proxy_cache m;

两个server都配置:
proxy_ignore_headers X-Accel-Expires Expires Cache-Control Set-Cookie;

同一URL,pc和wap浏览器访问都能正常缓存,各种搜索引擎爬虫抓取,却全部绕过,直接访问上游。
发现问题后自己测试,不同ip主机,同一个URL,不清空缓存重复curl访问,第一次访问都是MISS,第二次才HIT?
完全搞不懂了,求大神指点迷津。

  • 写回答

1条回答 默认 最新

  • qq_35452320 2018-08-18 03:11
    关注

    试试普通采集,现在很多站不支持CURL访问,会出现反复加载的问题

    评论

报告相同问题?

悬赏问题

  • ¥15 教务系统账号被盗号如何追溯设备
  • ¥20 delta降尺度方法,未来数据怎么降尺度
  • ¥15 c# 使用NPOI快速将datatable数据导入excel中指定sheet,要求快速高效
  • ¥15 再不同版本的系统上,TCP传输速度不一致
  • ¥15 高德地图点聚合中Marker的位置无法实时更新
  • ¥15 DIFY API Endpoint 问题。
  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式