qq_28468707
ccluqh
2017-02-19 13:32

爬虫jsoup对robots.txt支持吗？

3
  • 爬虫
  • jsoup
  • robots.txt

爬虫jsoup对robots.txt支持吗？可以不抓取Disallow规定的目录下的网页吗？

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答

提交

为你推荐

换一换