qqiqqi1234
qqiqqi1234
2015-10-28 02:22

关于抓取带有参数的url源码的问题

  • spring
  • 源码
  • url

现在在用spring mvc做一个小项目,需要抓取url对应网址的源码,我用的是httpUrlConnection,在url不带参数的情况下抓取没有问题,但是在有参数的地址就会报错,错误如下:

java.io.IOException: Server returned HTTP response code: 500 for URL

百度看到有人说是“因为服务器的安全设置不接受Java程序作为客户端访问,解决方案是设置客户端的User Agent”于是我就在代码中加了这么一句

connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

但是仍然是同样的结果,有人遇到过类似的问题么,可否指点一下小弟,不胜感激

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答

为你推荐

换一换