ccluqh
2017-02-19 13:32爬虫jsoup对robots.txt支持吗?
3爬虫jsoup对robots.txt支持吗?可以不抓取Disallow规定的目录下的网页吗?
- 点赞
- 回答
- 收藏
- 复制链接分享
1条回答
为你推荐
- JSoup登录网站并访问
- java
- jsoup
- php
- 1个回答
- Jsoup爬取数据超时,已设置timeout
- java
- 1个回答
- Jsoup选择到了一个div class里以后怎么输出里面的文本?
- java
- 1个回答
- jsoup不能获取html的全部内容?
- java
- linux
- 开发语言
- java-ee
- 3个回答
- JAVA + jsoup + httpUnit 爬虫报错
- httpunit
- 爬虫
- java
- jsoup
- 0个回答
换一换