qq_28468707
ccluqh
2017-02-19 13:32

爬虫jsoup对robots.txt支持吗?

3
  • 爬虫
  • jsoup
  • robots.txt

爬虫jsoup对robots.txt支持吗?可以不抓取Disallow规定的目录下的网页吗?

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答

为你推荐

换一换