参加学校的srtp,要做个垂直搜索引擎。
用heritrix和自己写的爬虫都不能抓取到javaeye网站的信息。
用heritrix抓取到得镜像文件html提示:
[color=darkred] 您的访问请求被拒绝
您可能使用了网络爬虫抓取JavaEye网站页面!
JavaEye网站不允许您使用网络爬虫对JavaEye进行恶意的网页抓取,请您立刻停止该抓取行为!
如果您的网络爬虫不属于恶意抓取行为,希望JavaEye网站允许你进行网页抓取,请和JavaEye管理员联系,取得授权: webmaster AT javaeye DOT com
如果您确实使用浏览器访问,但是被错误的识别为网络爬虫,请将您浏览器发送的“User Agent”信息告知我们,帮助我们解决错误: webmaster AT javaeye DOT com[/color]
自己是用java.net包写的,没用其他的jar。
怎么解决不能被抓取的问题?网上有说可以假冒百度的蜘蛛或谷歌的蜘蛛。 不过怎么设置蜘蛛的名字啊?
[b]问题补充:[/b]
currentUrl = new URL(url);
HttpURLConnection httpcon = (HttpURLConnection) currentUrl.openConnection();
httpcon.connect();
InputStreamReader in = new InputStreamReader(httpcon.getInputStream(),Charset.getCharSet(currentUrl));
BufferedReader buf = new BufferedReader(in);
[color=red]request.addheader('User-Agent', "ymeq")[/color]
上面这句话怎么加?
[b]问题补充:[/b]
这样设置了 蜘蛛的名字。 但是我试了试 还是不能抓取 javaeye的网站。。我设成百度的蜘蛛名字也不行。百度的蜘蛛:baiduspider,httpcon.setRequestProperty("User-Agent", "baiduspider");