iteye_13123 2009-07-21 11:00
浏览 294
已采纳

javaeye不能被蜘蛛抓取

参加学校的srtp,要做个垂直搜索引擎。
用heritrix和自己写的爬虫都不能抓取到javaeye网站的信息。
用heritrix抓取到得镜像文件html提示:
[color=darkred] 您的访问请求被拒绝
您可能使用了网络爬虫抓取JavaEye网站页面!

JavaEye网站不允许您使用网络爬虫对JavaEye进行恶意的网页抓取,请您立刻停止该抓取行为!

如果您的网络爬虫不属于恶意抓取行为,希望JavaEye网站允许你进行网页抓取,请和JavaEye管理员联系,取得授权: webmaster AT javaeye DOT com

如果您确实使用浏览器访问,但是被错误的识别为网络爬虫,请将您浏览器发送的“User Agent”信息告知我们,帮助我们解决错误: webmaster AT javaeye DOT com[/color]

自己是用java.net包写的,没用其他的jar。

怎么解决不能被抓取的问题?网上有说可以假冒百度的蜘蛛或谷歌的蜘蛛。 不过怎么设置蜘蛛的名字啊?

[b]问题补充:[/b]
currentUrl = new URL(url);
HttpURLConnection httpcon = (HttpURLConnection) currentUrl.openConnection();
httpcon.connect();
InputStreamReader in = new InputStreamReader(httpcon.getInputStream(),Charset.getCharSet(currentUrl));
BufferedReader buf = new BufferedReader(in);

[color=red]request.addheader('User-Agent', "ymeq")[/color]
上面这句话怎么加?
[b]问题补充:[/b]
这样设置了 蜘蛛的名字。 但是我试了试 还是不能抓取 javaeye的网站。。我设成百度的蜘蛛名字也不行。百度的蜘蛛:baiduspider,httpcon.setRequestProperty("User-Agent", "baiduspider");

  • 写回答

3条回答 默认 最新

  • wanghaolovezlq 2009-07-21 11:16
    关注

    httpcon.setRequestProperty("User-Agent", "ymeq");

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥15 做个有关计算的小程序
  • ¥15 MPI读取tif文件无法正常给各进程分配路径
  • ¥15 如何用MATLAB实现以下三个公式(有相互嵌套)
  • ¥30 关于#算法#的问题:运用EViews第九版本进行一系列计量经济学的时间数列数据回归分析预测问题 求各位帮我解答一下
  • ¥15 setInterval 页面闪烁,怎么解决
  • ¥15 如何让企业微信机器人实现消息汇总整合
  • ¥50 关于#ui#的问题:做yolov8的ui界面出现的问题
  • ¥15 如何用Python爬取各高校教师公开的教育和工作经历
  • ¥15 TLE9879QXA40 电机驱动
  • ¥20 对于工程问题的非线性数学模型进行线性化