python爬虫读不出网站代码的问题

Question

import urllib
import urllib2
page=1
url='http://www.qiushibaike.com/hot/page/'+str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={'User_Agent': user_agent}
try:
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
print response.read()
except urllib2.URLError,e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason

    用了代理还是读不出网页代码
        raise BadStatusLine(line)

BadStatusLine: ''
这是错误提示

Answer 1

你的user agent很老，没有附加cookie，referer等，你的代理是透明代理封掉了你的ip等等都有可能。

先用浏览器去访问，确保成功，用fiddler抓包，对照写你的程序。