关于抓取带有参数的url源码的问题

Question

现在在用spring mvc做一个小项目，需要抓取url对应网址的源码，我用的是httpUrlConnection，在url不带参数的情况下抓取没有问题，但是在有参数的地址就会报错，错误如下：

java.io.IOException: Server returned HTTP response code: 500 for URL

百度看到有人说是“因为服务器的安全设置不接受Java程序作为客户端访问，解决方案是设置客户端的User Agent”于是我就在代码中加了这么一句

connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

但是仍然是同样的结果，有人遇到过类似的问题么，可否指点一下小弟，不胜感激

Answer 1

HTTP response code: 500。500是WEB服务器返回的错误。建议完整的错误和代码贴一下再分析原因。