参加学校的srtp，要做个垂直搜索引擎。
用heritrix和自己写的爬虫都不能抓取到javaeye网站的信息。
用heritrix抓取到得镜像文件html提示：
[color=darkred] 您的访问请求被拒绝
您可能使用了网络爬虫抓取JavaEye网站页面！
JavaEye网站不允许您使用网络爬虫对JavaEye进行恶意的网页抓取，请您立刻停止该抓取行为！
如果您的网络爬虫不属于恶意抓取行为，希望JavaEye网站允许你进行网页抓取，请和JavaEye管理员联系，取得授权: webmaster AT javaeye DOT com
如果您确实使用浏览器访问，但是被错误的识别为网络爬虫，请将您浏览器发送的“User Agent”信息告知我们，帮助我们解决错误: webmaster AT javaeye DOT com[/color]
自己是用java.net包写的，没用其他的jar。
怎么解决不能被抓取的问题？网上有说可以假冒百度的蜘蛛或谷歌的蜘蛛。 不过怎么设置蜘蛛的名字啊？
[b]问题补充：[/b]
currentUrl = new URL(url);
HttpURLConnection httpcon = (HttpURLConnection) currentUrl.openConnection();
httpcon.connect();
InputStreamReader in = new InputStreamReader(httpcon.getInputStream(),Charset.getCharSet(currentUrl));
BufferedReader buf = new BufferedReader(in);
[color=red]request.addheader('User-Agent', "ymeq")[/color]
上面这句话怎么加？
[b]问题补充：[/b]
这样设置了 蜘蛛的名字。 但是我试了试 还是不能抓取 javaeye的网站。。我设成百度的蜘蛛名字也不行。百度的蜘蛛：baiduspider，httpcon.setRequestProperty("User-Agent", "baiduspider");
